Figlio di genitori entrambi avvocati (il padre, Juhani Rinne, è stato anche sindaco di Lohja) che, durante la sua infanzia, si trasferirono per lavoro a Hyvinkää.
Rinne è stato il leader di diversi sindacati. Ha guidato l'ERTO dal 2002 al 2005, l'Unione dei dipendenti salariati dal 2005 al 2010, e Pro dal 2010 al 2014.
È stato eletto presidente del Partito socialdemocratico finlandese (SDP) il 9 maggio 2014, sconfiggendo Jutta Urpilainen.[6] Dal giugno 2019 è Primo ministro della Finlandia, a capo di una coalizione di centrosinistra formata da cinque partiti (socialdemocratici, Partito di Centro, i Verdi, l'Alleanza di Sinistra e il partito della minoranza svedese) che ha ottenuto la fiducia di 111 dei 200 deputati del Parlamento di Helsinki, battendo dopo 16 anni la coalizione di centrodestra. Si è dimesso il 3 dicembre 2019 quando il Partito di Centro ha ritirato il suo appoggio.[7]