Der Erbauer von Schloss Elmau, Johannes Müller (1864-1949), wollte 1914 einen zivilisationskritisch angehauchten Rückzugsort schaffen.

Dessen ungeachtet zog das Schloss viele Persönlichkeiten aus Politik und Gesellschaft an, wie den Industriellen und Politiker Walter Rathenau (1867-1922), den jüdischen Religionsphilosophen Martin Buber (1878-1965) oder Prinz Max von Baden (1867-1929), den letzten Reichskanzler des Deutschen Kaiserreichs. Während der Weimarer Republik entwickelte Müller eine Nähe zum völkischen Gedankengut der Nationalsozialisten.

Um einer Beschlagnahmung im Zweiten Weltkrieg zuvorzukommen, verpachtete Müller 1942 das Schloss an die Wehrmacht, die den Bau als Fronterholungsheim nutzte. Nach Kriegsende wurde der Schlossbesitzer wegen "Verherrlichung" von Adolf Hitler verurteilt und enteignet. Zeitweilig diente Elmau der US-Armee als Lazarett.

Nach juristischen Auseinandersetzungen kam das Schloss bereits in den 1950er-Jahren wieder in den Besitz der Familie Müller. In den darauffolgenden Jahren wurde es Treffpunkt von Künstlern wie der Gruppe 47 und zahlreichen Kammermusikern, darunter Gidon Kramer oder Friedrich Gulda.

1997 pachtete der derzeitige Besitzer und Enkel von Johannes Müller, Dietmar Müller-Elmau, das Schloss, und gestaltete es zu einem Luxushotel um. Der Nationale Ethikrat hatte seine erste öffentliche Sitzung auf Schloss Elmau. 2005 brannte das Hotel aus und wurde 2007 wieder aufgebaut.