Byggnadsprojektet inleddes år 1783 och årtalet 1784 är inhugget i en stor rund sten över ingången, vilket är samma år som taket lades. I fasaden finns ett stort palladianskt fönster. Fönster, bänkar och balkonger stod färdigt 1786, men brist på pengar gjorde att en del inredningssnickerier dröjde. Det var den sista svenska prästen Nicholas Collin som initierade projektet efter att den gamla timmerkyrkan förfallit bland annat efter att ha använts av militären i Amerikanska frihetskriget. Det finns kvar flera gamla svenska föremål i kyrkan, däribland en silverservis från 1730, en svensk bibel och flagga och de flesta kyrkoböckerna.[4]
Byggnaden är uppförd i tegel och sten som en rektangel med en längd på cirka 20 meter och cirka 12 meter bred, det är den största av de svenska kyrkorna i området. Klocktornet tillkom först 1839.[1][2][3]
1697 lades västra Jersey (områdena kring Sveaborg och Raccoon) helt under Gloria Deikyrkans förvaltning och svenskättlingarna fick fortsätta att korsa floden. 1701 utsågs Hans Stahl från Holy Trinitykyrkan till skollärare och pastor för svenskarna i området. Man avvaktade dock med att inrätta en egen församling.[1][2][3][4]
1701 anlände Lars Tollstadius till Delawaredalen, han verkade först vid Gloria Deikyrkan hos Andreas Rudman. Efter att han 1702 ersattes av Anders Sandel flyttade Tollstadius till Sveaborg. Där köpte han 0,4 km² (100 acres) mark och uppförde en träkyrka som invigdes den 1 september 1703. Efter Tollstadius död 1706 tillträdde Jonas Auren som ny pastor. Efter dennes död 1713 tillträdde Abraham Lidenius som pastor. 1715 godkändes inrättandet av en egen församling och 1765 godkändes församlingen även av engelsmännen. 1770 tillträdde Nils Collin som pastor, under hans tid uppfördes den nuvarande kyrkobyggnaden efter hans egna ritningar åren 1783-1786. Kyrkan konsekrerades tredje söndagen efter årets Heliga Trefaldighets dag) som Trefaldighetens Kyrka.[1][2][3]
Därefter överläts kyrkan 1789 till Episkopalkyrkan [4] och 1790 blev John Croes kyrkans förste episkopale pastor. 1839 byggdes klocktornet till.
Kyrkogården inrättades redan kring 1720. På kyrkogården finns gravar efter en rad kända personer ur USA:s historia.
1938 besöktes kyrkan av prins Bertil i samband med firandet av 300-årsminnet av Nya Sveriges grundande.[3]
1976 inrättades parken New Sweden Park inom kyrkoområdet och 1988 flyttades den gamla knuttimrade timmerstugan Mortenson VanLeer Log Cabin (även Schorn efter den siste ägaren) till parken. Stugan uppfördes under sena 1600-talet och stod ursprungligen på finlandssvenske Martti Marttinens (Marten Martensson) gård.[3][4]
1992 stängdes kyrkan på grund av rasrisk men genomgick 1996 omfattande reparationer och är nu åter öppen.
