Beit kwam uit een Joods-Duitse familie en werd te Amsterdam opgeleid in de diamanthandel. In 1875 arriveerde hij via Port Elizabeth in Zuid-Afrika en werd hij naar Kimberley gestuurd om diamanten op te kopen, waar hij Julius Wernher en Cecil Rhodes ontmoette. Als rechterhand van Rhodes kocht hij vele rivaliserende bedrijven op die uiteindelijk zouden samensmelten tot De Beers.
Na de ontdekking van goud bij de Witwatersrand in 1886 richtten Beit en Rhodes hun pijlen op de goudmijnen in de Zuid-Afrikaansche Republiek. In 1895 financierde Beit een aanzienlijk deel van een mislukte staatsgreep, de Jameson Raid, waarvoor Beit maar licht gestraft werd door de Engelse rechtbank.
Beit overleed in 1906. Zijn vermogen werd geïnvesteerd in de Beit Trust, dat de transportatie van Britse koloniën in Afrika financierde.
