인치에서 태어나, 9살 때 사관생도로서 영국 해군에 입대했다. 1789년까지는 지중해 함대에서 근무했고, 해협 함대로 옮겨졌다. 1808년에는 스웨덴 해군에 전입하였다가, 영국 해군으로 돌아와서 1812년에는 중령이 되었다. 6년 후인 1818년, 영국 해군 본부가 조직한 북극 탐험대 지휘를 맡았다. 이것은 북서항로를 발견하는 최초의 시도였다. 탐험의 목적은 캐나다 북부에 떠있는 섬을 누비며 북극해에 들어가 베링 해협에서 태평양으로 나오는 새로운 아시아 전용 항로를 개척하는 것이었다. 또한 항해 도중에서 해류와, 조류 및 얼음의 상태와 지구 자기장을 정기적으로 측정하고 생물과 광물의 표본을 모으는 것도 임무였다. 같은 해 4월에 로스가 이끄는 탐험대는 이사벨라 호와 알렉산더 호에 나눠타고 런던을 출발하여 8월에는 캐나다의 랭커스터 해협에 도착했다. 1850년에는 북극해로 향해 3번째 항해를 시도하여 1818년의 탐험을 함께한 부하 존 프랭클린의 원정대를 수색했지만 결국 발견하지는 못했다. 이듬해 장군으로 승진하였다. 귀국해서 스코틀랜드에 은거하고 있었지만, 1856년에 런던의 자택에서 사망했다.