Il est le fils d'Augustin Raby, également pilote, et de Françoise Delisle, veuve de Jean-Baptiste Toupin dit Dussault, seigneur de Bélair. Il est le beau-père de Charles Langevin et le beau-frère de Louis Turgeon. Un fils issu de son second mariage épousa l'une des filles de François Dambourgès.
Navigateur et homme impliqué
Il fait probablement l'apprentissage de son métier de navigateur en compagnie de son père. Lors de l'invasion américaine sur Québec en 1775, il défend la ville en tant que lieutenant dans la milice. Il débute ensuite une carrière de pilote sur le Saint-Laurent.