Das Hotel wurde im Jahr 1888 von Vinzenz Panhans (1841–1905) eröffnet und hatte damals 44 Zimmer. Panhans war zuvor Küchenchef im seit 1882 bestehenden Südbahnhotel gewesen – einem Grand Hotel in unmittelbarer Nähe des Panhans. Erste Ausbauten erfolgten 1891 und 1904. Nach dem Ableben von Vinzenz Panhans übernahm dessen Neffe Franz Panhans das Hotel. Franz Panhans unternahm den Ausbau zum Großhotel mit 400 Zimmern, verstarb aber bei einer Operation im September 1913 noch vor der Eröffnung des Neubaus an Weihnachten 1913. Nach dem Tod des 44-jährigen Unternehmers führte dessen Witwe Clara das Haus bis 1918 weiter. Es zählte nach seinem Ausbau 1912/13 zeitweise zu den größten Hotels in Europa – die Dependancen Pension „Waldesruhe“ und der „Fürstenhof“ nicht mit eingerechnet. Die Planung dieses letzten noch erhaltenen Gebäudeteiles – einer damals aktuellen Stahlbetonkonstruktion – geht, wie auch die der gleichzeitig entstandenen Dependancen, auf die Wiener Architekten Fellner & Helmer zurück.
1918 gab Clara Panhans das Haus an die Österreichische Commerzialbank ab, und es folgte eine Periode mit mehrfachem Besitzerwechsel. Im Jahr 1930 übernahm der aus Estland stammende Hotel- und Spielbankenunternehmer William D. Zimdin das Hotel. Er konnte die Wettbewerbsfähigkeit des Hauses durch Investitionen erhalten und sogar ausbauen. So ließ er 1932 durch die Architekten Anton Liebe und Ludwig Stigler das Alpenstrandbad Semmering errichten, ein freistehendes Hallenbad mit verschiebbaren Glaswänden.[2] Am 3. Februar 1934 wurde im Panhans, gleichzeitig mit jenem in Kitzbühel, ein Spielcasino eröffnet. Zimdin finanzierte auch zwei Schienenbusse, die besonders für den Casinoverkehr eingesetzt wurden. Nach dem „Anschluss“ erzwang der Wiener NS-Gauleiter Bürckel von Zimdin, der jüdischer Herkunft war, den Verkauf des Hotels an die Gauelektrowerke. Während der NS-Herrschaft stand es als Gauhotel Semmering den NS-Granden zur Verfügung. Zwischenzeitlich wurde das Gebäude auch von Hermann Göring als Leitstelle der deutschen Luftwaffe genutzt.
1945 wurde es von der NEWAG, der Rechtsnachfolgerin der Gauelektrowerke, übernommen und 1949 das Haupthaus unter Federführung des Österreichischen Verkehrsbüros wieder eröffnet. Die Semmeringregion erlebte damals allerdings durch ihre Zugehörigkeit zur sowjetischen Besatzungszone (bis 1955) eine lange nachwirkende Periode des Niedergangs. Das Panhans konnte bis 1969 überleben und wurde dann geschlossen.
Im Jahr 1978 übernahm der Wiener Bauunternehmer Adalbert Kallinger mit seinem früheren Schwieger- und späteren Adoptivsohn Anton Kallinger-Prskawetz das Objekt[3][4] und startete gemeinsam mit der Gemeinde Semmering und dem Land Niederösterreich ein Revitalisierungsprojekt. Eine große Zahl von ehemaligen Zimmern ist dabei erhalten geblieben, der von Ferdinand Fellner und Hermann Helmer erbaute 128 Meter lange Trakt wurde in Ferienwohnungen umgewandelt. Im Zuge dieser „Rundumerneuerung“ in den 1980er Jahren wurden allerdings wichtige Bauteile entfernt oder nicht mehr in das Konzept eingebunden, darunter auch das architektonisch bedeutsame große Hallenbad. Letzte Reste dieses durchaus interessanten Bauwerkes der klassischen Moderne sind bis dato im Gelände noch erkennbar.
1983 wurde der eigentliche Ursprungsbau abgetragen und der verbliebene Teil dafür ab dem Gelenksbau – dem ehemaligen Sprudelbad – mit einem Neubau auf die heutige Form ergänzt.
Der Hotelbetrieb findet heute überwiegend in diesem neuen Zubau und nur mehr in einem Teil des historischen Haupthauses statt. In diesem befinden sich u. a. der Restaurantbereich, die Rezeption sowie ein kleineres Hallenbad.
Im Jahre 1998 erwarben Franz Josef Haromy und seine Ehefrau Sigillindis (geb. von Lentner) die Kaiservilla, welche 2012 in den Privatbesitz ihres Neffen Gerhard von Lentner überging.
Insolvenzantrag 2012 und aktuelle Situation
Am 26. Juli 2012 brachten die Bank Austria und die Raiffeisenbank NÖ Süd-Alpin aufgrund von ausstehenden Zahlungen einen Insolvenzantrag gegen das Hotel Panhans ein.[5] Am 18. Dezember 2012 wurde der Verkauf des Hotels um fünf Millionen Euro an die IBS Umwelt- und Verkehrstechnik GmbH bestätigt. Das Hotel ist somit entschuldet.[6]
Im September 2013 verkaufte die IBS Umwelt- und Verkehrstechnik GmbH das Hotel ihrerseits an die Schweizer Renco Invest AG weiter.[7]
Am 19. Jänner 2018 wird berichtet, dass die niederösterreichische Gebietskrankenkasse (NÖGKK) einen Konkursantrag gegen die Panhans-Holding auf dem Semmering gestellt hat. Das Hotel ist Teil der Holding, die insgesamt vier Hotels und die Bergbahnen am Semmering hält.[8] Auch sonst wurde von problematischen Vorfällen rund um die ukrainische Eigentümergruppe berichtet.[9][10]
Mit der Wintersaison 2020/2021 hätte, nach einem Bericht von orf.at, der Betrieb wieder aufgenommen werden sollen.[11] Während der COVID-19-Pandemie war eine Öffnung auch aufgrund von Lockdowns und Beherbergungsverboten nicht möglich.
Seit 2022 diente das bis dato nicht wiedereröffnete Hotel als Spielstätte des Kultursommers Semmering.[12]
Nach Übernahme des Südbahnhotels durch Christian Zeller übersiedelte der Kultur.Sommer.Semmering unter Intendant Florian Krumpöck 2022 ins Panhans.[13][14]
2024 präsentierte der Kultursommer das Theaterstück und Dinner "Im Separée bei Clara Panhans", das von Regisseurin Beate Thalberg geschrieben und inszeniert wurde. In allen Rollen war die Schauspielerin Marie Theres Müller zu sehen.[15]