Birch var født i Fåberg, dagens Lillehammer kommune, som sønn av handelsmannen Johan G.H. Reichenwald og ektefellen Marie Elisabeth f. Birch. Som barn ble han og broren adoptert av onkelen generalkrigskommissær Hans Jørgen Birch.
Birch var gift med Anna Cathrine Stenersen (f. 1791, d. 1840), datter av byfogd Stenersen på St. Thomas. De ble foreldre til to sønner, statsråd, amtmann og ordfører Christian Birch-Reichenwald samt landhandler og brukseier Fredrik Reichenwald Birch.
Anker, Carl Johan (1885) Biografiske data om 330 norske, norskfødte eller for nogen tid i den norske armé ansatte generalspersoner : 1628-1885 side 46 og 47 Digital utgave