Jacob Lyversberg stammte aus einer alten, bereits vor 1664 erwähnten Tabak- und Weinhändlerfamilie. Sein Vater Henric Lieversberg gehörte um 1750 zu den bedeutendsten Tabakgroßhändlern in Köln, seine Mutter Johanna Catharina Pleunissen entstammte einer aus Holland nach Köln zugewanderten Tabakhändlerfamilie. 1765 erwarb die Familie am Heumarkt das Haus Nr. 10, genannt „Starkenberg“, mit zusätzlichen Gebäuden. Um 1770 kaufte sie das Haus Heumarkt 76, später Nr. 52, das aus den mittelalterlichen Häusern „Zum Drachen“ und „Zur Schere“ entstanden war. Es handelte sich um ein reiches Bürgerhaus vom Ende des 18. Jahrhunderts, in dem sich umfangreiche Teile von Vorgängerbauten aus dem Mittelalter (Gewölbekeller, spätgotische Deckenmalereien) und Renaissance (Terrakotten, Rankenschnitzereien) sowie Teile einer barocken Stuckdecke erhalten hatten. Über der Tür zum Heumarkt befand sich ein von Löwen gehaltener Wappenschild, der das Lyversbergsche Wappen enthielt. In solch vermögenden Verhältnissen wuchs Jacob als viertes von neun Kindern auf und stieg in das väterliche Geschäft ein.
Am 2. Februar 1793 heiratete er Anna Elisabeth Bennerscheid und bezog mit ihr 1784 das von seinem Vater erworbene Haus Heumarkt 10, das er zuvor im Rokokostil ausgebaut hatte. Ferner besaß er drei Packhäuser am Heumarkt, am Domkloster und in der Rheingasse 10. Um 1800 gehörte er zu den 100 bedeutendsten Steuerzahlern Kölns. Nebenamtlich war er Schul- und Verwaltungsrat und Kirchenmeister von St. Maria im Kapitol.
Mit seiner Frau Anna hatte Lyversberg sechs Töchter und zwei Söhne. Da die Söhne jedoch früh starben, hinterließ er keine männlichen Erben. Die Töchter ließen 1837 die Gemäldesammlung durch das Kunsthaus Heberle-Lempertz versteigern. Das Geschäft wurde 1840 durch seinen Neffen Wilhelm Bartman übernommen und in das Haus Heumarkt 76 verlegt. Dort wurde es unter dem Namen Bartman-Lyversberg bis zu Wilhelms Tod 1885 weitergeführt.
Die Gräber Jacob Lyversbergs und seiner Frau liegen in Nachbarschaft des Bartmanschen Familiengrabes auf dem Melatenfriedhof (HWG).