Gramme werd in Luik opgeleid tot timmerman. In 1856 vestigde hij zich in Parijs, waar hij voor Heinrich Ruhmkorff werkte, een producent van elektromagnetische apparaten. Hij bouwde verder op de machine van Hippolyte Pixii.
Hij vervolmaakte in 1869 het prototype van de dynamo, dat kort daarvoor was ontwikkeld door de Italiaan Antonio Pacinotti, waardoor deze in staat was veel hogere spanningen te genereren dan de toen bekende dynamo's. Dit maakte hem geschikt voor commerciële en industriële toepassingen, aan het begin van het industriële tijdperk, waarin deze Gramme-dynamo uitgebreid werd toegepast.[1] Als doe-het-zelver en timmerman werkte hij in die tijd voor zilversmid Charles Christofle.
Om zijn apparaat in productie te brengen, richtte hij samen met de Franse ingenieur Hippolyte Fontaine in 1871 La Société des Machines magnéto-électriques Gramme op. Deze fabriek specialiseerde zich in dynamo's en elektrische generatoren. De toekomst van de dynamo zou beperkt geweest zijn zonder Fontaines ontdekking dat elektriciteit transporteerbaar was. Op de wereldtentoonstelling van 1873 te Wenen ontdekte Fontaine bij toeval dat men elektriciteit verschillende kilometers ver kon transporteren. Tot dan toe stond de generator daar waar men de elektriciteit nodig had. Nu kon de generator ook elders geplaatst worden en dus worden gecentraliseerd.
Gramme overleed op 74-jarige leeftijd. Hij ligt begraven op het kerkhof Cimetière du Père-Lachaise te Parijs.