Han blev senere assistent for Lyndon B. Johnson, da denne var ungt medlem af USAs Kongres og han holdt disse bånd til Johnson resten af sin karriere. Under Vietnamkrigen opfordrede Connally kraftigt Johnson til hurtigst muligt at afslutte den uanset midlerne.
Den 22. november1963 blev han alvorligt såret, da han kørte i præsident Kennedys bil i Dallas, og attentatet mod præsidenten skete. Både Conally og han kone, som også kørte i bilen, slog siden fast, at de hørte alle skuddene komme fra samme retning og ingen af den troede på konspirationsteorierne.
I januar1979 annoncerede Connally, at han ville søge republikanernes nominering for præsidentvalget i 1980. Han blev betragtet som en stor leder og han rejste flere penge end nogen anden kandidat. Connally brugte pengene nationalt, mens George Bush brugte sin tid og penge i de tidligere stater og vandt Iowa cactus og blev dermed alternativet til den populære konservative førstemand Ronald Reagan. Efter dette hjalp Connally Reagan til sejr i hjemmestaten Texas. Connally og Bush kunne nemlig ikke udstå hinanden.
I 1986 søgte Conally om konkurserklæring efter nogle fejlslagne forretninger i Houston. Han døde i sommeren 1993.
