Als Sohn eines Zimmermanns und einer Textilarbeiterin besuchte Große von 1910 bis 1918 die Volksschule in Reifland und war dort von 1918 bis 1920 als Holzarbeiter tätig. 1918 trat er dem Deutschen Holzarbeiterverband bei. Im Mai 1920 ging er im Alter von 16 Jahren nach Sowjetrussland und kämpfte dort ab Juli im 3. Reiterkorps der Roten Armee. Im gleichen Jahr wurde er Mitglied der Kommunistischen Partei Russlands. 1921 kehrte er zu seinem Vater (die Mutter war bereits verstorben) nach Deutschland zurück, der mittlerweile in Siegmar bei Chemnitz wohnte. Hier wurde er Mitglied des Kommunistischen Jugendverbandes Deutschlands (KJVD) und der Kommunistischen Partei Deutschlands (KPD).
1922/23 war er Leiter des KJVD-Unterbezirks Siegmar-Hohenstein, anschließend 1923/24 Leiter des KJVD-Unterbezirks Erzgebirge. Von 1924 bis 1927 war er Mitglied der KJVD-Bezirksleitung Chemnitz und zugleich Mitglied der KPD-Bezirksleitung Erzgebirge-Vogtland. Von 1925 bis 1932 war er Mitglied des ZK des KJVD. Von 1927 bis 1929 Sekretär sowohl der KJVD- als auch der KPD-Bezirksleitung Halle-Merseburg. 1929 wurde er als Kandidat ins ZK der KPD gewählt und war Organisationssekretär im ZK des KJVD.
Von 1930 bis 1932 war Große Mitarbeiter des Exekutivkomitees der Kommunistischen Jugendinternationale. Von August 1931 bis Oktober vertrat er diese in Großbritannien, wo er im April 1932 verhaftet und zu sechs Monaten Gefängnis verurteilt wurde. Im Oktober 1932 erfolgte seine Wahl zum Vorsitzenden des Zentralkomitees des KJVD (bis August 1934). Von November 1932 bis März 1933 war Große Abgeordneter des Deutschen Reichstags.
Zu Beginn des Jahres 1933 weilte er in Moskau und Paris, reiste aber zu der am 7. Februar 1933 stattfindenden illegalen Tagung des ZK der KPD im Sporthaus Ziegenhals bei Berlin nach Deutschland.[1] Im Mai 1933 ging er ins Exil nach Prag, anschließend nach Moskau, im Juni 1933 nach Paris. Bis November 1933 hielt er sich in Amsterdam auf, dann wieder in Paris. Im Februar 1934 kehrte er nach Berlin zurück, um illegal für die KPD zu arbeiten. Im August 1934 wurde er in Düsseldorf verhaftet und im März 1936 zu lebenslänglicher Zuchthausstrafe verurteilt. Von 1936 bis 1945 war er im Zuchthaus Brandenburg-Görden und in Außenlagern des KZ Mauthausen inhaftiert.
Zu Kriegsende befreit, ging er im Juni 1945 über Wien nach Moskau. Im Juli desselben Jahres kehrte er zusammen mit Wilhelm Pieck und Franz Dahlem nach Deutschland zurück.
Ab 1946 war er Mitglied des Landesvorstandes der KPD und nach der Vereinigung von SPD und KPD der SED Sachsen sowie ihres Sekretariats (Sekretär der Organisationsabteilung, später für Kaderfragen), dort auch für die Jugendarbeit zuständig. Von 1947 bis 1949 hatte er das Amt des Landesvorsitzenden der VVN Sachsen inne. 1948/49 war er Vorsitzender der Landesparteikontrollkommission der SED Sachsen sowie Leiter der Staatlichen Kontrollkommission in Sachsen.
Von 1949 bis 1952 war er der erste Botschafter der DDR in der Tschechoslowakei in Prag. Anschließend war er von 1953 bis 1957 im Ministerium für Auswärtige Angelegenheiten als Leiter der Hauptabteilung Sozialistische Länder und als Mitglied des Kollegiums tätig. Er war 1957 maßgeblich an der Vorbereitung der diplomatischen Beziehungen zwischen der DDR und der FVR Jugoslawien beteiligt.
Fritz Große war seit 1928 liiert mit Lea Große geborene Lichter, einer kommunistischen Funktionärin und späteren Chefredakteurin des Deutschen Soldatensenders. Geheiratet haben die beiden nach 1946. Er hatte zwei Kinder, eine Adoptivtochter und einen Sohn.
In seinem Geburtsort wurde eine Schule und eine Straße nach ihm benannt.
In Berlin-Prenzlauer Berg wurde 1973 eine Schule nach ihm benannt, das Schulgebäude jedoch 2009 abgerissen. Das vor dem Gebäude aufgestellte Denkmal wurde nach der Wende entwidmet.
In Königs Wusterhausen wurde eine Schule nach ihm benannt. Heute ist diese Schule das Friedrich-Wilhelm-Gymnasium
In Berlin-Lichtenberg war von 1985 bis 1992 die jetzige Ernst-Barlach-Straße nach ihm benannt.[4]