Vermutlich wurde das Haus nach einer Grundstücksteilung 1610 durch Thonges (Anton) Baseler zumindest in großen Teilen neu erbaut. Diese Vermutung stützt sich in erster Linie auf das für diese Zeit typische Fachwerk, darunter die im Giebeldreieckgenasten Streben sowie der beschnitzte Ortgang. Der Kern des zweigeschossigen, in Rähmbauweise errichteten Hauses ist jedoch älter. Das Rokoko-Türblatt stammt aus der Zeit um 1780 und gleicht dem am wenige hundert Meter entfernten Haus Staffel am Domplatz.
Ab 1877 lebte Carl Byron, von Beruf Drechsler, Krämer und Bautechniker in dem Haus, das seitdem nach ihm benannt ist. Heute befindet sich im Erdgeschoss, das in Massivbauweise erneuert und in zwei Ebenen geteilt wurde, eine Kunstausstellung mit Werken des 2008 verstorbenen Limburger Bäckermeisters Friedel Hensler.
