Zaangażował się w działalność polityczną w ramach Ludowego Ruchu Republikańskiego, którym kierował wówczas Maurice Schumann. W latach 1946–1948 po raz pierwszy zasiadał w Conseil de la République, wyższej izbie francuskiego parlamentu, którą po wprowadzeniu V Republiki w 1958 przemianowano na Senat. Powrócił do tej izby w 1952, uzyskiwał reelekcję na kolejne kadencje, zasiadając w niej do 1995, gdy zrezygnował z kandydowania[1].
Od września do listopada 1948 pełnił funkcję sekretarza stanu do spraw budżetu w rządach, którymi kierowali Robert Schuman i Henri Queuille. Od listopada 1957 do maja 1958 był sekretarzem stanu do spraw marynarki wojennej w gabinecie, któremu przewodniczył Félix Gaillard. W okresie 1966–1969 zajmował stanowisko przewodniczącego Parlamentu Europejskiego[2]. Od 1977 do 1983 był przewodniczącym Association des maires de France, organizacji zrzeszającej francuskich merów.
W październiku 1968 został przewodniczącym Senatu. Wyższą izbą francuskiego parlamentu kierował nieprzerwanie do października 1992. W tym okresie z racji pełnionej funkcji dwukrotnie wykonywał tymczasowo obowiązki prezydenta z uwagi na opróżnienie urzędu prezydenta. Miało to miejsce w okresach od kwietnia do czerwca 1969 (gdy Charles de Gaulle złożył rezygnację) oraz od kwietnia do maja 1974 (po śmierci Georges'a Pompidou). W 1969 Alain Poher sam również startował w wyborach prezydenckich. W pierwszej turze głosowania zajął 2. miejsce z wynikiem 23,3% głosów, w drugiej dostał 41,8% głosów, pokonał go wówczas Georges Pompidou[3].
