Een achterhuis is vermoedelijk reeds in de 13e eeuw gebouwd met een fors voorterrein richting de Oudegracht. Restanten ervan zijn vandaag de dag bewaard gebleven als kelder achter het huidige hoofdgebouw en in de achtergevel ervan. Waarschijnlijk is in het begin van de 14e eeuw het aangebouwde hoofdgebouw ontstaan op het voorterrein. Gaandeweg de eeuwen is het geheel sindsdien diverse malen fors gewijzigd. Onder meer de vensterindeling, het dak met de dakbedekking en de voorgevel veranderden. Het oude achterhuis verdween en een nieuw lager bemeten achterhuis kwam ervoor in de plaats. Aan de zuidzijde verrees Klein Drakenburg op het aangrenzende perceel. Van het hoofdgebouw stortte tijdens de storm van 1 augustus 1674 de voorgevel in.
In de 19e eeuw zaten er een spiegelfabriek en een fabriek van scheepsmotoren in het gebouw. De laatste werd door de eigenaren, de familie Van Rennes, in 1899 overgebracht naar de Kruisvaart aan de toenmalige stadsrand en in 1938 naar Leiden.
In de 20e eeuw kreeg Drakenburg het Hoofdpostkantoor (1924) als naastgelegen bouwwerk. Drakenburg zelf was sinds 1946 in gebruik als Chinees-Indisch restaurant. De bouw van de Neudeflat (1961), oorspronkelijk onder meer Drakenburgh genoemd, bedreigde aanvankelijk ook het stadskasteel. Maar nadat van sloop was afgezien, volgde rond 1964 voor Drakenburg een ingrijpende restauratie. Onder meer werd de trapgevel van voor 1674 weer teruggebouwd.[2]
C.L. Temminck Groll (1961), Oude Gracht 114, in: M.H. Stafleu (red.)(1993), Archeologische en Bouwhistorische Kroniek van de Gemeente Utrecht 1926-1972, blz. 184-186, ISBN 90-5479-010-5