Era un adolescente aun cuando su padre —el paraguayoJuan Andrés Gelly— debió exilarse en Montevideo llevando consigo a su hijo, debido al apoyo que había prestado a la dictadura del general Juan Lavalle y su posición contraria a Juan Manuel de Rosas. Allí se sumó a la defensa contra el sitio que sufrió esa ciudad durante ocho años, llegando al grado de coronel, jefe de un regimiento de exiliados argentinos. Durante algún tiempo estuvo exiliado en el Brasil, donde administró una estancia. Durante su estadía en Montevideo entabló estrecha amistad con Bartolomé Mitre pero, a diferencia de este, sólo regresó a Buenos Aires en 1855.[2]
En Buenos Aires se incorporó al ejército con el grado de coronel, fue diputado provincial, comandante del Puerto de Buenos Aires, comandante de la Armada del Estado de Buenos Aires y ministro interino de Guerra y Marina durante las campañas de Cepeda y Pavón.[2]
A fines de 1861 fue uno de los diplomáticos enviados por Mitre para convencer a Justo José de Urquiza de no impedir el derrocamiento del presidente Santiago Derqui. Fue senador provincial en 1862, y ascendido al grado de general.[2]
Durante la presidencia de Mitre fue ministro de Guerra y Marina hasta la guerra del Paraguay. Fue designado jefe de Estado Mayor del ejército de operaciones, siendo sustituido por el coronel Julián Martínez el 6 de agosto de 1865 (más tarde asumió el brigadier Wenceslao Paunero).[3] Estuvo en el frente de operaciones hasta fines de 1867, es decir durante la primera mitad de la Guerra del Paraguay; fue nombrado jefe del Estado Mayor del Ejército Argentino en campaña en el Paraguay, razón por la cual renunció a su cargo de ministro. Participó en la batalla de Tuyú Cué y fue ascendido a brigadier general por el presidente Mitre.[2] El presidente Sarmiento lo nombró comandante del ejército argentino en el Paraguay, participando en la Campaña de Pikysyry, aunque renunció por un fuerte altercado con el presidente poco antes del saqueo de Asunción.[4]
Fue el jefe de las fuerzas nacionales en Corrientes, donde combatió al general Nicanor Cáceres, que intentaba defender al gobernador constitucional de una revolución apoyada por el presidente Mitre.[5] Permaneció en la provincia de Corrientes, como jefe de la reserva del ejército en campaña, hasta el estallido de la revolución de Ricardo López Jordán, dirigiendo una de las columnas principales en la guerra contra este. Controló parte del norte de Entre Ríos hasta la batalla de Don Cristóbal, en la que fue derrotado por López Jordán, aunque este debió retirarse al finalizar el día ante la aproximación de más fuerzas nacionales. No pudo impedir la marcha del jefe rebelde hacia Corrientes, donde sería decisivamente derrotado.[6]
Debido a su ascendencia paraguaya, fue propuesto como candidato a ocupar la presidencia de ese país.
Fue diputado nacional entre 1872 y 1874, por el partido de Mitre, cargo al que renunció a fines de 1874 para poder participar en la revolución de Mitre del año 1874; también pidió la baja en el Ejército. Su participación en la revolución fue secundaria, aunque fue el jefe del estado mayor del ejército mitrista derrotado en La Verde.[7]
Su fallecimiento, el 18 de septiembre de 1904, fue un acontecimiento público nacional. Sus restos fueron depositados en el Cementerio de la Recoleta, y su tumba fue declarada Monumento Histórico.[2]