Han kämpade tillsammans med Mahatma Gandhi och de två var ofta fängslade tillsammans. Han brukade kallas för "sparven" eftersom han var så klen till växten.
Efter Indiens frigörelse från Storbritannien hade han flera poster inom regeringen. Han kämpade för nationell integration och säkrade en fredsdeklaration med Pakistan vid fredskonferensen i Tasjkent 1966.
Efter Jawaharlal Nehrus död 1964 blev han premiärminister, men avled två år senare.