Isabella Anne war die älteste von fünf Töchtern des Whig-Politikers Charles Ingram, 9. Viscount of Irvine (1726–1778), aus dessen Ehe mit Frances Shepheard (1733–1807). Die Erziehung von Isabella, in der Familie Bella genannt, wurde von den Eltern streng überwacht. Isabella galt als frühreif und ausgesprochen intelligent. Am 20. Mai 1776 heiratete Isabella in London Francis Seymour-Conway, 2. Marquess of Hertford (1743–1822), den ältesten Sohn von Francis Seymour-Conway, 1. Marquess of Hertford, und Isabella Fitzroy. Aus der Ehe ging ein Sohn hervor: Francis Seymour-Conway, 3. Marquess of Hertford (1777–1842), der 1798 Maria Emilia Fagniani (1775–1856) heiratete.
Isabella Seymour-Conway war eine elegante und hochgewachsene Frau, deren Schönheit die Aufmerksamkeit des Prinzregenten Georg (1762–1830) erregte. Ihr Mann war nicht besonders erfreut darüber, dass der Prince of Wales seiner Frau Avancen machte, daher zog er mit seiner Familie nach Irland. Jedoch erhöhte dies die Zuneigung des Prinzen zur Marchioness of Hertford, die im Jahre 1807 seine Mätresse wurde. In den folgenden Jahren war der Prince of Wales regelmäßiger Gast in Hertford House, dem Londoner Stadthaus der Familie, sowie im Familienwohnsitz Ragley Hall in Warwickshire. Das Ehepaar Seymour-Conway gehörte zu den Anhängern der Tories und beeinflusste den Prinzregenten für deren Sache. Die Liaison wurde 1819 beendet, da Georg sich einer neuen Favoritin, Elizabeth Conyngham, Countess of Conyngham (1769–1861), zuwandte.
Peter W. Hammond (Hrsg.): The Complete Peerage or a History of the House of Lords and All its Members From the Earliest Times. Band 14, Sutton Publishing, Stroud 1998, S. 115.