In dem Palais wurde u.a. die „Blutfahne“ aufbewahrt, die Fahne, die bei dem erfolgslosen Hitlerputsch 1923 mitgeführt worden war. Seinen Namen „Braunes Haus“ verdankt das Palais den Farben der Parteiuniformen.
Im Herbst 1930 wurde der Innenarchitekt Paul Ludwig Troost mit der Ausgestaltung des Gebäudes beauftragt. Troost war ab 1933 hauptverantwortlich für die Planung des Parteiviertels.
Im 2. Weltkrieg wurde das Gebäude schwer beschädigt, 1947 wurden die Reste abgetragen. Es ist geplant an diese Stelle ein NS-Dokumentationszentrum zu errichten,