Vid ministärens rekonstruering under Balfour blev Ritchie (juli 1902) skattkammarkansler, och den budget, som han våren 1903 framlade, var märklig genom borttagandet av den 1869 avskaffade, men 1902 återupplivade obetydliga registreringsavgift på importeradspannmål, vilken Chamberlain (som vid budgetförslagets uppgörande var frånvarande på en resa till Sydafrika och vid hemkomsten inte förmådde genomdriva dess omarbetning) ämnat använda som utgångspunkt för sin tariffreformpolitik. Denna Ritchies åtgärd påskyndade den stora tullstridens utbrott; Chamberlain demonstrerade mot denna punkt i Ritchies budget genom att i sitt ryktbara tal i Birmingham (15 maj samma år) offentligt framlägga grunddragen av sin tariffreformpolitik, och i september avgick de båda motståndarna samtidigt ur Balfours ministär. Ritchie skulle dock ha velat stanna kvar, blott han i rätt tid fått kännedom om Chamberlains avgång; han uppträdde sedermera på politiska möten som en bland den Chamberlainska tullpolitikens häftigaste vedersakare.