Die Prinzregentenstraße gewann im 3. Reich stark an Bedeutung. Dies hatte gleich mehrere Gründe, so z.B. dass sich Hitlers Privatwohnung am Prinzregentenplatz befand, dass dort bedeutende Neubauten wie das "Haus der Deutschen Kunst" oder das Luftgaukommando Süd errichtet wurden oder dass über die Prinzregentenstraße der neue Flughafen in Riem erreichbar war.

Um die Prinzregentenstraße mit dem Parteiviertel und der zukünftigen Ost-West-Achse zu verbinden sollte die Von-der-Tannstraße verbreitert und ausgebaut werden. An der Kreuzung Von-der-Tannstraße/Ludwigstraße wurden daher mehrere Gebäude abgerissen, darunter auch das Herzog-Max-Palais, Klenzes schönster Palastbau (an seiner Stelle wurde ein Neubau der Reichsbank errichtet).

Gegenüber dem ehemaligen Herzog-Max-Palais errichtete man an der Stelle von vier abgerissenen Gebäuden das "Zentralministerium der Landesregierung". Von hier aus sollte das gleichgeschaltete Bayern regiert werden.

Das viergeschossige Ministerium wurde nach den Plänen Friedrich Gablonskys zwischen 1938 und 1940 ausgeführt. Heute befindet sich in dem Gebäude das Bayerischen Staatsministeriums für Landwirtschaft und Forsten.