Im Sommer 1875 wurde von der Sektion Allgäu-Immenstadt des DuOeAV in den Allgäuer Alpen unterhalb der Mädelegabel der Grundstein für eine Schutzhütte gelegt, die erste Alpenvereinshütte im Allgäu und zweite in den Bayerischen Alpen und die fünfte in den Nördlichen Ostalpen[1]. Nur sechs Wochen später war der Bau abgeschlossen. Am 5. September 1875 fand dann bei herrlichem Wetter die Eröffnung statt. Zu Ehren des Sektions-Mitbegründers und damaligen Vorstands Anton Waltenberger wurde sie nach ihm benannt. Wegen des schlechten Standortes musste allerdings neun Jahre später in der Nähe ein neues Waltenbergerhaus errichtet werden. Das Waltenberger- und das Kaufbeurer Haus sind die einzigen Alpenvereinshütten in den Allgäuer Alpen, die über keine Materialseilbahn verfügen und daher auf die Versorgung mit dem Hubschrauber angewiesen sind.
Von 1978 bis 2010 agierte Gerhard („Mandi“) Böllmann († 2011 im Alter von 64 Jahren) als Hüttenwirt.[2]
Im Juni 2013 entschied die Sektion Allgäu-Immenstadt des Deutschen Alpenvereins, die Hütte abzureißen und durch einen Neubau zu ersetzen.[3] Die Abbrucharbeiten begannen im September 2015, der Neubau konnte bis Juli 2017 fertiggestellt werden. Die Baukosten sollten 3,2 Mio. Euro betragen.[4]
Nach mehr als 2500 Hubschraubereinsätzen und Gesamtkosten von 3,4 Millionen Euro konnte bereits an Fronleichnam das neue Haus eröffnet werden.[5]