Народився 23 червня 1931 році в маленькому містечку Тег, що нині є частиною міста Умео. У юності багато подорожував по США, де брав участь в політичному житті країни, зокрема, в 1959 працював активістом виборної кампанії Нельсона Рокфеллера, коли той обирався губернатором штату Нью-Йорк.
Пізніше Ульстен був лідером молодіжного ліберального руху, а пізніше, в 1964 був обраний в парламент країни. При формуванні в 1976 році першого за сорок років не соціалістичного уряду в Швеції, який очолив Турбьєрн Фельдін, отримав пост статс-секретаря із зовнішніх зносин. У 1978 році Ульстен був обраний на пост лідера Ліберальної партії Швеції. У 1978 році Ульстен зайняв пост прем'єр-міністра Швеції, очоливши уряд меншості.
Його кабінет складався з представників лібералів і незалежних міністрів. Пост міністра закордонних справ займав Ханс Блікс, що пізніше здобув міжнародну популярність як генеральний секретар МАГАТЕ в період дипломатичної фази конфлікту між США і Іраком, що брав діяльну участь в організації міжнародних інспекцій атомного проекту Іраку.
Серйозний політичний конфлікт, викликаний розбіжностями провідних партій країни в питанні енергетичної політики, через який розпалася колишня коаліція, викликав швидке падіння і кабінету Ульстена. У 1979, після проведення дострокових виборів, уряд знову сформував Турб'єрн Фелльдін, а Ульстен зайняв пост міністра закордонних справ. Після відставки з поста міністра в 1982 і відходу в 1983 з поста лідера Ліберальної партії, Ульстен займав різні дипломатичні посади.
