Der Vorgänger des heutigen SFV wurde am 17. Oktober 1897 in der Gastwirtschaft „Zum Landsknecht“ in Karlsruhe von acht Fußballvereinen unter dem Namen Verband Süddeutscher Fußball-Vereine gegründet. 1898 wurde die erste Satzung beschlossen und Friedrich Wilhelm Nohe zum ersten Vorsitzenden gewählt. Die erste Meisterschaft wurde 1898/99 durchgeführt.
An der Gründung des DFB am 28. Januar 1900 beteiligte sich der Verband. Es folgten Auseinandersetzungen mit dem DFB um das Spielsystem und die Organisation des Spielbetriebs, worauf der VsFV als mitgliederstärkster Verband entsprechend Einfluss nehmen wollte.
Am 18./19. Juli 1914 wurde der Name in Süddeutscher Fußball-Verband geändert.
Von 1923 bis 1925 war Ivo Schricker Vorsitzender. Am 13. November 1927 wurde die Fusion mit dem Süddeutschen Verband für Leichtathletik beschlossen. Der neue Name des Verbandes lautete Süddeutscher Fußball- und Leichtathletik-Verband.
Am ersten Nachkriegsverbandstag des SFV am 30./31. August 1919 in Heilbronn wurde eine neue Verbandseinteilung für den Neubeginn getroffen. Fortan spielte man mit neun Kreisen in vier Gruppen:
Nord-Gruppe
Mittelmain-Kreis
Westmain-Kreis
Ost-Gruppe
Kreis Südbayern
Kreis Nordbayern
Süd-Gruppe
Kreis Schwaben
Kreis Baden
West-Gruppe
Neckar-Kreis
Rhein-Kreis
Da die Pfalz durch französische Truppen besetzt war, musste schließlich der Rhein-Kreis in zwei Kreise aufgeteilt werden, um die Schwierigkeiten des Reiseverkehrs zu umgehen, den Odenwaldkreis und den Pfalzkreis.
Die zehn Kreismeister spielten dann in einer Endrunde die Süddeutsche Meisterschaft aus, deren Meister schließlich an der Deutschen Meisterschaft teilnahm.
Die Oberliga Süd wurde nach dem Zweiten Weltkrieg 1945 als erste Fußball-Oberliga in Deutschland gegründet. Die am 22. September 1945 gegründete „Vereinigung der Süddeutschen Fußballklubs“ übernahm die weitere Organisation, wobei es mit dem neu gegründeten Bayerischen Fußball-Verband starke Reibereien gab. Die Oberliga Süd war bis zur Einführung der Bundesliga im Jahr 1963 eine von fünf Staffeln der höchsten Spielklasse im deutschen Fußball auf dem Gebiet des DFB.
Die Wiedergründung des Süddeutschen Fußball-Verbandes erfolgte nach dem Zweiten Weltkrieg am 19. Dezember 1949. Allerdings hatte er viel an Einfluss verloren, da es jetzt als untergeordnete Verbände die folgenden Landesverbände gab:
Württembergischer Fußballverband (1951 gegründet durch einen Zusammenschluss der regionalen Fußballverbände in Nordwürttemberg und Südwürttemberg/Hohenzollern)
Heute können nur noch Verbände Mitglieder im SFV sein, Vereine sind in den jeweiligen Landesverbänden organisiert. Zusammen haben diese Verbände rund 9800 Fußballvereine und etwas mehr als 3 Millionen Mitgliedern.