W 1903 ukończył studia agronomiczne w Rydze, naukę kontynuował w Bernie. Podczas studiów zaangażował się działalność łotewskiej korporacji "Talavija". Od 1907 do 1913 redagował wydawane w Rydze łotewskie pismo "Baltijas Lauksaimnieks" (Rolnik Bałtycki).
W kwietniu 1920 wybrano go do łotewskiej konstytuanty (Satversmes sapulce) z ramienia Związku Chłopskiego (Latvijas Zemnieku Savienība, LZS) Karlisa Ulmanisa. Sprawował liczne funkcje ministerialne w kolejnych rządach: był ministrem rolnictwa (1920–1921) i oświaty (1923–1924).
Dwukrotnie stał na czele rządu: pierwszy raz od 19 grudnia 1924 do 23 grudnia 1925, później od 1 grudnia 1928 do 26 marca 1929.
Po odejściu z Sejmu został w 1931 burmistrzem Rygi. W 1935 rząd Kārlisa Ulmanisa wysłał go na placówkę dyplomatyczną do Berlina (w charakterze posła), był również reprezentantem Łotwy w Wiedniu i Hadze.
W lipcu 1940 próbował swych sił w wyborach do Sejmu Ludowego Łotwy, jednak lista której przewodził została unieważniona przez władze, a sam Celmiņš w październiku 1940 aresztowany przez NKWD, skazany na karę śmierci i rozstrzelany w miejscu egzekucji Kommunarka pod Moskwą 30 lipca 1941.
.svg)