Dopo la laurea presso l'Università della Lettonia, a Riga, Piebalgs ha debuttato come insegnante presso la città natale di Valmiera, negli anni 1980. Durante il periodo sovietico faceva parte del Partito Comunista della URSS. Fra il 1990 ed il 1993, nei primi anni di indipendenza della Lettonia dall'Unione Sovietica, ha ricoperto la carica di Ministro dell'Educazione; fra il 1994 ed il 1995 è stato Ministro delle Finanze.
Piebalgs ha quindi iniziato una carriera diplomatica che lo ha visto ambasciatore in Estonia (dal 1995 al 1997) e successivamente presso l'Unione europea (dal 1998 al 2003); quest'ultimo periodo lo ha visto protagonista degli storici negoziati che hanno portato, il 1º gennaio 2004, all'ingresso della Lettonia nell'Unione europea.