Nach der Unabhängigkeit Lettlands am 18. November 1918 wurde er Abgeordneter der Verfassunggebenden Versammlung (Satversmes sapulce) und dann des Parlaments (Saeima),[3] wo er die Interessen der Partei Bauernverband Lettlands vertrat. Am 12. Juni 1920 wurde er von Ministerpräsident Kārlis Ulmanis als Landwirtschaftsminister erstmals in ein Kabinett berufen. Dieses Amt übte er dann bis zum 18. Juni 1921 aus. Am 15. Oktober 1923 wurde er dann von Ministerpräsident Zigfrīds Anna Meierovics zum Erziehungsminister ernannt und gehörte als solcher der Regierung bis zum 26. Januar 1924 an.
Am 19. Dezember 1924 wurde er dann als Nachfolger von Voldemārs Zāmuels schließlich selbst erstmals Ministerpräsident. Zu Beginn seines bis zum 23. Dezember 1925 amtierenden Kabinetts übernahm er bis zum 5. März 1925 auch wieder das Amt des Landwirtschaftsministers. Später war er vom 22. August bis zum Ende seiner Amtszeit auch Außenminister, nach dem der bisherige Amtsinhaber Meierovics bei einem Autounfall ums Leben kam. Nachfolger als Ministerpräsident wurde Kārlis Ulmanis.
Ministerpräsident von 1928 bis 1931
Am 1. Dezember 1928 wurde er als Nachfolger von Pēteris Juraševskis erneut Ministerpräsident. Seine bis zum 26. März 1931 amtierende Regierung gehörte dabei schon zu den am längsten Regierungen der (ersten) Republik Lettland. Celmiņš war vom 4. Februar 1930 bis zum Ende der Regierungszeit darüber hinaus erneut Außenminister. Am 27. März 1931 folgte ihm wiederum Ulmanis im Amt des Ministerpräsidenten. Während seiner Amtszeit war er außerdem Delegierter auf der 11. Ordentlichen Sitzung des Völkerbundes in Genf vom 10. September bis zum 4. Oktober 1930.[4]