Rutledge genoot zijn opleiding in Londen en begon na zijn terugkeer in zijn geboortestad Charleston het beroep van advocaat uit te oefenen. In 1774 werd Rutledge gekozen als delegatielid van South Carolina aan het Continental Congress. In 1776 keerde hij wederom terug naar South Carolina alwaar hij deel nam aan de opstelling van de grondwet van die staat. Tussen 1776 en 1778 en weer van 1779 tot 1782 was hij gouverneur van South Carolina.
Tijdens de Constitutional Convention woonde hij bijna alle sessies bij en voerde ook regelmatig het woord. Tevens ondertekende hij de Amerikaanse grondwet nadat die door de conventie was aangenomen. In 1789 benoemde presidentGeorge Washington hem tot rechter in het Supreme Court, maar in 1791 trad hij af om opperrechter van het Hooggerechtshof van South Carolina te worden. Vier jaar later benoemde Washington Rutledge opnieuw, ditmaal als opperrechter van de Verenigde Staten. Deze positie zou hij slecht vijf maanden vervullen tussen juli en december 1795. Zijn felle oppositie tegen het Verdrag van Jay zorgde ervoor dat de Senaat zijn benoeming niet bekrachtigde en dat hij aan het einde van de zittingsperiode weer het veld moest ruimen.
John Rutledge overleed in 1800 op zestigjarige leeftijd.
