Joseph Leonard O'Brien naît le à South Nelson (aujourd'hui un quartier de Miramichi), au Nouveau-Brunswick.
Il commence à travailler dans le commerce du bois grâce à une scierie qu'il possède dans la région de Nelson, mais se lance parallèlement en politique en étant élu à l'Assemblée législative du Nouveau-Brunswick de 1925 à 1930 et dont il sera le président durant la même période.