Meany begann seine Laufbahn als Gewerkschaftsfunktionär 1923 als geschäftsführender Schatzmeister (Secretary-Treasury) der Bauarbeitergewerkschaft (Building Trades Council) von New York City. Im Anschluss war er zwischen 1934 und 1940 Präsident des Gewerkschaftsbundes des Bundesstaates New York.
1940 wechselte er zur nationalen Dachgewerkschaft American Federation of Labor (AFL) und war dort bis 1952 wiederum geschäftsführender Schatzmeister.
Am 25. November 1952 wurde er als Nachfolger des verstorbenen William Green schließlich selbst Präsident der AFL. Dabei kam es insbesondere zu Auseinandersetzungen mit dem damaligen ArbeitsministerJames P. Mitchell. Meanys größte Leistung in diesem Amt war jedoch 1955 die Fusion von zwei konkurrierenden und unterschiedlichen Organisationen: der AFL als Dachgewerkschaft des Handwerks und des Congress of Industrial Organizations (CIO), der zentralen Gewerkschaft der Industriearbeiter, unter dem Vorsitzenden Walter Reuther.
Am 5. Dezember 1955 wurde er Präsident des daraus entstandenen mächtigen Dachverbandes AFL-CIO und behielt dieses Amt rund 24 Jahre bis zum 15. November 1979.
1957 schloss er die einflussreiche Transportarbeitergewerkschaft International Brotherhood of Teamsters aus der AFL-CIO aus, da er eine Zusammenarbeit mit deren korrupten Vorsitzenden Dave Beck und Vizevorsitzenden Jimmy Hoffa ablehnte. Kritiker warfen Meany jedoch vor, dass er erst nach der öffentlichen Kritik diesen Schritt unternahm und im Vorfeld untätig blieb. Außerdem wurde ihm seine schleppende Haltung bei der Integration von Minderheiten in der Gewerkschaft vorgeworfen. Später unterstützte er jedoch die Einführung einer generellen Lohngleichheit bei gleicher Arbeit, die letztlich Bestandteil des Civil Rights Act von 1964 wurde.
In dieser Zeit kam es auch zu wiederholten internen Auseinandersetzungen mit dem früheren CIO-Präsidenten und Präsidenten der großen Automobilarbeitergewerkschaft (United Auto Workers) Walter Reuther, die letztlich dazu führten, dass die UAW 1968 aus dem Dachverband AFL-CIO austrat.
Meany war ein unerbittlicher Gegner des Kommunismus und Unterstützer der US-amerikanischen Haltung im Vietnamkrieg trotz aufkommender Proteste. 1977 trieb er den Austritt der USA aus der Internationalen Arbeitsorganisation (ILO) voran, als diese eine repressive kritische Haltung wegen der Gewerkschaftspolitik in den kommunistischen Staaten ablehnte.
Am 15. November 1979 trat er nach zwölf aufeinander folgenden Amtszeiten als Präsident der AFL-CIO zurück. Vier Tage später wurde der bisherige geschäftsführende Schatzmeister Lane Kirkland zu seinem Nachfolger gewählt.
