Lipstok begynte sin karriere på lokalpolitisk plan. Han var nestleder i finansavdelingen i kommunestyret i Haapsalu kommune fra 1980 til 1983, og leder for samme avdeling fra 1983 til 1986. De neste tre årene fram til 1989 var han leder for planavdelingen i kommunestyret.
I 1989 var han visefinansminister i Den estiske sosialistiske sovjetrepublikk, før han ble fylkesmann i Lääne fylke fra 1989 til 1994. Fra 1994 til 1995 var han finansminister i Republikken Estland, og fra 1995 til 1996 næringsminister.
Han ble valgt inn i Estlands riksforsamling (Riigikogu) i både 1995, 1999 og 2003, men i 2005 ble han utnevnt til landets sentralbanksjef. Hans arvtaker som sentralbanksjef ble utpekt i oktober 2011; Ardo Hansson overtok stillingen i juni 2012.[2]