Gregg nasceu em Huntingdon (Pensilvânia) numa família com vários políticos influentes, incluindo o governador do estado da Pensilvânia à época da guerra civil. Após a formatura na Academia Militar de West Point, serviu nas fronteiras indígenas e na guarnição de Fort Tejon, Califórnia, onde se encontrava quando a guerra eclodiu.
Sob o comando de Alfred Pleasonton, foi encarregado de cobrir o flanco direito das tropas federais em Gettysburg e é frequentemente creditado pelo sucesso em repelir o ataque da cavalaria confederada de Jeb Stuart, garantindo as rotas de comunicação vitais para a manutenção das posições da União.
Na Campanha Overland comandou com competência a 2ª Divisão de Cavalaria da União até a sua, até solicitar reforma em 8 de Fevereiro de 1865, por motivos até hoje inexplicados.
Até a morte em 1916, Gregg dedicou-se a administração da sua fazenda, exceto por um breve período em 1874 que passou como Ministro (Embaixador) dos Estados Unidos em Praga, nomeado por Grant.
