Ellice est né à Londres, fils d'Alexander Ellice et d'Ann Russell. En 1795, son père acheta la Seigneurie de Villechauve, de Michel Chartier de Lotbinière, Marquis de Lotbinière. Cette seigneurie, dans laquelle se trouve l'actuelle ville de Beauharnois au Québec, s'étendait du fleuve St-Laurent jusqu'à la frontière américaine. Il fit ses études à la public-school de Winchester puis à l'université d'Aberdeen. Il s'engagea dans le commerce des fourrures du Canada à partir de 1803.
