Auf drei Stockwerken gruppierten sich die Büros der NSDAP-Verwaltung um zwei Lichthöfe. Im Zentrum des Gebäudes befand sich eine Bibliothek, die sich vom Erdgeschoss bis in den zweiten Stock erstreckte. Unter dem Keller befand sich noch eine weitere Ebene, auf der unter anderem auch eine Bunkeranlage zu finden war.
Nach Kriegsende diente es der amerikanischen Armee als zentrale Sammelstelle für Kunstgegenstände, die von den Nationalsozialisten konfisziert oder geraubt worden waren. Nach Kriegsende entschieden sich die amerikanischen Besatzer für eine kulturelle Nutzung des Gebäudes. Daher sind mittlerweile sechs kulturelle Einrichtungen in dem Gebäude untergebracht. Dabei handelt es sich um das Institut für Ägyptologie, das Institut für Klassische Archäologie, das Zentralinstitut für Kunstgeschichte, die Verwaltungen der Staatlichen Graphischen Sammlung, der Staatlichen Antikensammlungen & Glyptothek München sowie des Staatlichen Museums Ägyptischer Kunst.