Принадлежал к видной династии политиков (его отец Димитриос Раллис также пять раз был премьер-министром). Получил юридическое образование в Афинском университете, затем стажировался во Франции и Германии. С 1905 года и до установления диктатуры Метаксаса в 1936 году — непрерывно член парламента Греции. В 1920—1921 годах занимал пост министра флота (в правительстве своего отца), в 1921—1922 годах — министра экономики, в 1932—1933 годах — министра иностранных дел. В 1936 году вступил в коалицию с бывшим диктатором Г. Кондилисом, которого король Георг II отстранил от власти через несколько дней после своей реставрации. Не поддержал диктатуру Метаксаса, несмотря на хорошие личные отношения с новым главой правительства (вместе с которым участвовал в парламентских выборах 1935 года). Премьер-министр Греции в годы германской оккупации с 7 апреля 1943 по 12 октября 1944 года. Осуждён за измену к пожизненному заключению, умер в тюрьме.
Сын Раллиса, Георгиос Раллис, в 1947 году, издал книгу «Иоаннис Раллис говорит из могилы», где посмертно опубликованы записки И. Раллиса, в которых он выражал раскаяние за свою измену. Позднее его сын стал премьер-министром Греции в 1980—1981 годах.
