Ernest Wilhelm Bursche był pierworodnym synem tkacza Joachima Gotthelfa Bursche (ur. 1803) pochodzącego z Saksonii. Początkowo uczył się w szkole w miejscowości Niska w Saksonii. W latach 1852 i 1853 utracił oboje rodziców. W roku 1854 rozpoczął studia na wydziale teologii ewangelickiej uniwersytetu w Dorpacie (Tartu), które ukończył w roku 1858. 15 sierpnia 1858 został ordynowany na pastora.
Był dwukrotnie żonaty: z Matyldą Müller (zm. 1875) i w roku 1879 z Matyldą Harmel. Był ojcem dziewięciu synów i trzech córek.