Han var sønn av Nikolai Ambrosius Maroni (1834–1900) og Maria Catharina Weisser (1842–1922). Faren var skipsreder og av en italiensk slekt fra Firenze. Mora kom fra ei Holstein-slekt. James ble gift i Drammen i 1904 med Wilhelmine Margrethe Bang (1885-1965). Også sønnen Thomas Wilhelm Maroni (1905–41) ble prest.[3]