Van Riebeeck was de zoon van een chirurgijn in het Staatse leger. Ook zijn moeder stamde uit een plaatselijk belangrijke familie. Rond 1630 verhuisden de Van Riebeecks naar Schiedam. Van Riebeeck is als leerlingchirurgijn in dienst van de WIC en de Noordsche Compagnie naar Nederlands-Brazilië en Groenland geweest. In 1639 tekende hij bij de VOC-kamer Delft en vertrok naar de Oost. Als neef van Antonie van Diemen (1593–1645) beschikte hij over een goed contact in Batavia. Vanaf 1643 werkte hij een jaar op Dejima en in Fort Zeelandia. De volgende aanstelling was in Tonquin (Vietnam) onder Anthony van Brouckhorst. In 1647 werd hij teruggeroepen nadat hij zich als zovele anderen aan privéhandel had schuldig gemaakt. In 1648 voer hij onder Wollebrant Geleyns de Jongh (1594–1674) terug naar het vaderland. Bij de Tafelbaai werd achttien dagen halt gehouden en is een deel van de bemanning van het in 1647 gestrande schip Haerlem aan boord genomen. Op 6 augustus 1648 kwam hij aan bij 't Vlie en vier dagen later in Amsterdam.
Van Riebeeck trouwde op 28 maart 1649 in Schiedam met Maria de la Quellerie uit een geslacht van Waalse predikanten. Ze kregen acht kinderen, van wie de meesten op jonge leeftijd overleden. Het echtpaar woonde enkele jaren in Amsterdam, totdat Van Riebeeck werd uitgezonden door VOC-kamer Amsterdam; een beslissing die zonder enige twijfel te maken had met de dreiging van de Eerste Engels-Nederlandse Oorlog.
Van Riebeeck ging op 16 december 1651 aan boord van de Dromedaris, vergezeld door de Goede Hoop, en de Reijger, maar vertrok pas een week later. Hij was uitgezonden om een verversingsstation in te richten bij Kaap de Goede Hoop. Op 6 april 1652 landde Van Riebeeck bij de Tafelbaai. In dienst van de VOC stichtte hij Fort de Goede Hoop en Fort Duijnhoop, de eerste Nederlandse nederzettingen aan de Kaap de Goede Hoop. Van Riebeeck en zijn 90 kolonisten (onder wie acht vrouwen) legden tuinen aan om fruit en groente te verbouwen voor de bemanning van de VOC-schepen die meestal voor enkele weken de kolonie aandeden. Er kwam een haag van amandelbomen om het loslopende vee uit de tuinen te houden.
Van Riebeeck bleef commandeur van het bescheiden fort tot 7 mei 1662. Daarna werd hij opgevolgd door Zacharias Wagener. Op 5 juli kwam hij aan in Batavia. Van Riebeeck was van oktober 1662 tot oktober 1665 gouverneur van Nederlands-Malakka en begroef daar zijn vrouw, die op 2 november 1664 aan de pokken was gestorven, en ettelijke kinderen. Balthasar Bort werd zijn opvolger. In Batavia werd hij secretaris van de Hoge Regering van Indië. Hij hertrouwde met de weduwe Maria Scipio in 1667. Van Riebeeck zou secretaris blijven tot zijn dood, op 18 januari 1677.
Trivia
De vlag van zowel de Unie (1910-1961) als de Republiek van Zuid-Afrika (1961-heden) werd ook wel de "Van Riebeeckvlag" genoemd. Deze was in gebruik van 1926 naast de Union Jack en het Rode vaandel tot de republiekwording in 1961. Tussen 1961 tot de afschaffing van de apartheid in 1994 was de Van Riebeeckvlag of Oranje Blanje Blou de enige vlag van Zuid-Afrika.
Van Riebeeck was de vader van Abraham van Riebeeck, gouverneur-generaal in Indië, die in 1681 een biografische schets schreef van zijn vader.