Die Geschichte von Ybbs reicht bis in die Zeit der Kelten zurück. In dieser Zeit dürfte auch der Name Ybbs entstanden sein. Ybbs wurde zum Beginn des 14. Jahrhunderts das Stadtrecht verliehen und nahm seit dem frühen Mittelalter eine wichtige Stellung unter den Donaustädten ein.

Der Babenbergerhof wurde als Freihaus (Herrenhaus) an Stelle eines der vier Stadttore von Ybbs errichtet, dem Wiener Tor, das in die Ybbser Vorstadt Angern führte.
Der Babenbergerhof ist auf den Grundfesten eines weitaus älteren, mittelalterlichen Gebäudes errichtet. Der mächtige Bau stand direkt an der Stadtmauer, eng am wasserführenden Stadtgraben und nahe dem „Untern Stadttor“ – dem Wiener Tor. Schon die ersten österreichischen Landesfürsten, die Babenberger, vergaben ihn als Lehen.

Ab dem 16. Jahrhundert wurde dieses Haus immer wieder in Urkunden genannt. Es war ein Freihaus: „Freier Herrensitz mit der Bedingung kein bürgerliches Gewerbe auszuüben.“ Wer ein solches Gebäude sein Eigen nannte, war von Steuern und Abgaben befreit. Als Besitzer finden sich unter anderen die Ybbser Pfarrkirche, Reichsgraf Colalto oder auch die „Verordneten der drei oberen Stände“ ? Prälaten, Herren und Ritter, deren Aufgabe es war, die Interessen der Kirche, der Adeligen und der Ritter im Niederösterreichischen Landtag zu vertreten.
Überschwemmungen und Brände schädigten den Bau mit der Zeit so sehr, dass die letzten Reste 1830 abgerissen werden mussten.

1835 erbaute man das Gebäude in seiner heutigen Form.

1891 kaufte dann Alois Luger um 12.000 Gulden das Anwesen und richtete den „Gasthof zum weißen Lamm“ ein. Neben den Gasträumen gab es noch einen Gastgarten und außerdem eine Kegelbahn. Der Gasthof wurde zur ersten Adresse in Ybbs und die Fremdenzimmer waren so gut gebucht, dass die Ybbser Straßenbahn dort eine eigene Haltestelle einrichtete. Wollten Gäste zusteigen, steckte der Wirt eine Fahne aus. Die Straßenbahn, damals die kleinste der Welt, verband von 1907 – 1953 die Stadt mit dem drei Kilometer entfernten Bahnhof an der Kaiserin-Elisabeth-Westbahn.

1929 übernahm der Sohn Franz von Alois Luger den Betrieb und baute an der Stelle der Kegelbahn den heutigen Veranstaltungssaal. Dabei stieß man auf die Fundamente des mittelalterlichen Vorgängerbaues.

1938 wurde Franz Luger zum Verkauf an die Stadt gezwungen. 1945 bekam er den gesamten Besitz wieder zurück. 1948 nannte man den „Gasthof zum weißen Lamm“ mit Zustimmung des Gemeinderates in „Babenbergerhof“ um.

1955 erwarb die Donaukraftwerke AG die Liegenschaft und richtete dort ihr Vermessungsbüro ein.

1988 kaufte die Stadtgemeinde Ybbs den Babenbergerhof, restaurierte ihn, machte wieder einen Gasthof daraus und verpachtete ihn.

Nach mehreren Pächtern und einem Kurzzeiteigentümer ist der traditionsreiche Gasthof seit 2009 wieder in Ybbser Familienbesitz, der Familie Gruber-Rosenberger.