Peep Jahilo ble uteksaminert fra Universitetet i Tartu i 1985, fra filologisk fakultet og ble ansatt i Estlands utenriksdepartement i 1990, som førstesekretær hvor han arbeidet i seksjon for utenriksøkonomi og politikk. Fra 1991 – 1992 var han direktør for protokollavdelingen ved presidentens kontor og 1992 – 1993 var han assisterende rådgiver for utenrikssaker ved presidentens kontor.
I 1994 – 1995 var han kabinettsekretær ved det estiske utenriksdepartementet og i 1995 – 1997 Chargé d'affaires ved Estlands ambassade i London. 1997 – 2000 var Jahilo sjef for personellavdelingen i Estlands utenriksdepartement. 2000 – 2004 var han Estlands ambassadør til Norge, 2002 – 2004 også sideakkreditert som Estlands ambassadør til Island. 2004 – 2007 var han generalinspektør ved Estlands utenriksdepartement og fra 2004 – 2009 Estlands ambassadør til Albania, residerende i Tallinn, fra 2007 til 2009 Estlands ambassadør til Hellas og Kypros med residens i Athen. Fra 2009 til 2012 var Jahilo vært undersekretær ved Estlands utenriksdepartement, og fra 2012 til 2017 var han Estlands ambassadør til Nederland.[3]
I juli 2017 ble han utnevnt til generalsekretær i Riigikogu, som er Estlands generalforsamling.[4]