Der Verein wurde im Juli 1904 unter dem Namen FC Phönix Ludwigshafen gegründet. Bei der Namensgebung folgte der Verein den Beispielen von Phönix Karlsruhe und Phönix Mannheim. Der erste Sportplatz war an der Drehbrücke, kurz darauf spielte der Verein am Sulzerloch. Ab 1907 gab es Umzüge zum Schießhausplatz, zur Zuberwiese und auf die städtische Festwiese, ehe 1911 der Platz am Licht-, Luft- und Sonnenbad bezogen wurde. An der Stelle dieses Sportplatzes wurde später das Südweststadion errichtet. 1905 trat Phönix dem Rheinischen Fußball-Bund bei, der sich jedoch kurz darauf wieder auflöste. Durch den Beitritt zum Verband Süddeutscher Fußball-Vereine nahm Phönix Ludwigshafen fortan am geregelten Spielbetrieb teil. Im Gegensatz zu den Lokalrivalen FC Pfalz Ludwigshafen, Ludwigshafener FG 03 und Revidia Ludwigshafen spielte Phönix anfangs nur in der B-Klasse. Erst zur Spielzeit 1911/12 gelang der Sprung in die damals erstklassige A-Klasse Westkreis, nachdem in den Aufstiegsspielen unter anderem Waldhof Mannheim geschlagen worden war. Die Spielzeit wurde auf dem letzten Platz punktgleich mit dem SC Germania Ludwigshafen beendet. Das Entscheidungsspiel wurde mit 3:1 gegen Germania gewonnen, so dass Phönix die oberste Klasse hielt. Bis zum Ersten Weltkrieg spielte der Verein in der A-Klasse und war 1913/14 bester Verein aus Ludwigshafen.
1920/21 wurde Phönix Sieger der Endrunde Westkreis und qualifizierte sich somit für die Endrunde um die süddeutsche Fußballmeisterschaft, bei der die Ludwigshafener nach einem 1:0-Sieg über den 1. FC Pforzheim ins Finale vordrangen und dort nur knapp gegen den 1. FC Nürnberg mit 1:2 nach Verlängerung verloren. 1921/22 gab es ein neues Ligasystem, Phönix spielte fortan in der anfangs zweigeteilten Kreisliga Pfalz. Nach Siegen über die Ludwigshafener FG 03 qualifizierte sich Phönix als Kreismeister Pfalz für das Bezirks-Endspiel Rhein gegen den VfR Mannheim. Nachdem das Hinspiel 0:0 ausgegangen war, mussten sich die Ludwigshafener im Rückspiel mit 2:3, nach 2:0-Führung, geschlagen geben. 1922/23 wurde erneut die Kreisliga Pfalz gewonnen, diesmal wurde auch das Bezirks-Endspiel Rhein gegen Phönix Mannheim erfolgreich gestaltet, so dass Phönix für die süddeutsche Endrunde qualifiziert war. Im Rundenturnier musste sich die Mannschaft nur knapp der SpVgg Fürth geschlagen geben und wurde Zweiter. In den folgenden Jahren spielte Phönix Ludwigshafen weiter in der Bezirksliga Rhein (später Bezirksliga Rhein/Saar), der Gewinn einer Meisterschaft in dieser gelang jedoch nicht. 1932/33 wurde der Verein Vizemeister hinter dem SV Waldhof Mannheim und qualifizierte sich dadurch für die süddeutsche Fußballendrunde, in der in der Gruppe Ost/West eine Mittelfeldplatzierung erreicht wurde.
Durch das gute Abschneiden in der Spielzeit 1932/33 qualifizierte sich Phönix Ludwigshafen für die 1933 gegründete Gauliga Südwest, eine von damals 16 neu gegründeten, erstklassigen Gauligen Deutschlands. In der ersten Saison 1933/34 konnte die Klasse nur auf Grund des besseren Torquotienten gegenüber dem SV Wiesbaden gehalten werden. 1934/35 folgte der größte Erfolg der Vereinsgeschichte, als mit drei Punkten Vorsprung gegenüber dem FK Pirmasens die Gaumeisterschaft errungen wurde. Durch diese Meisterschaft qualifizierte sich Ludwigshafen für die deutsche Fußballmeisterschaft 1934/35, bei der Ludwigshafen in der Gruppenphase nur knapp am VfL Benrath scheiterte, nachdem der VfR Mannheim und der VfR Köln 04 rrh. geschlagen wurden. Bereits zur kommenden Spielzeit 1935/36 folgte der Tiefpunkt. Phönix Ludwigshafen hatte gegen die Amateurstatuten verstoßen und musste daraufhin auf mehrere Spieler verzichten; zudem war wegen Zuschauerausschreitungen beim Spiel gegen Eintracht Frankfurt eine Platzsperre verhängt worden. Mit nur acht Punkten stieg der Verein erstmals in seiner Geschichte in die Zweitklassigkeit ab. Mit dem Ziel des sofortigen Wiederaufstiegs startete Ludwigshafen die Saison 1936/37 und gewann die Bezirksklasse. In der Aufstiegsrunde zur Gauliga 1937/38 musste sich der Verein jedoch dem SC Opel Rüsselsheim und dem 1. FC Kaiserslautern geschlagen geben und verblieb in der Bezirksklasse.
TSG 1861 Ludwigshafen
Noch im Endstadium der Spielzeit 1936/37 wurden unter dem Druck der Nationalsozialisten die Vereine FC Pfalz Ludwigshafen, FC Phönix Ludwigshafen, TuFC Ludwigshafen, TV 1861 Ludwigshafen, Stemm- und Ringclub Ludwigshafen und Kanu-Club Ludwigshafen zum Großverein TSG 1861 Ludwigshafen zusammengeschlossen. Pfalz und Phönix hatten bereits seit längerem die Idee einer Fusion, ohne sich zu einem entscheidenden Schritt durchringen zu können. Nur Monate später gab es im Norden Ludwigshafens ebenfalls eine Fusion der dort ansässigen Vereine zu TuRa Ludwigshafen. Auch 1937/38 gewann die neugebildete TSG die Bezirksklasse und nahm an der Aufstiegsrunde zur Gauliga Südwest 1938/39 teil, welche diesmal erfolgreich gestaltet wurde, so dass der Großverein wieder in die Gauliga aufstieg. In der Saison 1940/41 wurde der Verein Vorletzter, da die Gauligen zur kommenden Spielzeit jedoch regional aufgeteilt wurde, stieg Ludwigshafen nicht ab. Ab 1941 spielte der Verein in der Gauliga Westmark. Zur Spielzeit 1943/44 bildete der Verein mit der TSG Oppau und dem VfL Friesenheim eine Kriegsspielgemeinschaft (KSG Ludwigshafen).
SV Phönix 03 Ludwigshafen
Nach Ende des Zweiten Weltkrieges wurde die TSG Ludwigshafen aufgelöst. Die Mitglieder der ehemaligen Vereine Pfalz Ludwigshafen und Phönix Ludwigshafen gründeten den SV Phönix 03 Ludwigshafen, wobei 1903 das Gründungsjahr des FC Pfalz Ludwigshafen widerspiegelt. Die restlichen Mitglieder gründeten 1950 die TSG 1861 Ludwigshafen neu, die kurz darauf in TFC 1861 Ludwigshafen umbenannt wurde.[1] Bereits 1945/46 spielte Phönix Ludwigshafen in der Fußball-Oberliga Südwest wieder erstklassig. In den kommenden Jahren wurde überwiegen gesicherte Mittelfeldplatzierungen erreicht. 1961/62 musste Phönix nach einer schwachen Saison mit nur 15 Punkten erstmals nach 17 Jahren Oberliga-Zugehörigkeit in die II. Division absteigen. In der Saison 1962/63 gelang zwar die Wiederaufstieg, durch die Einführung der Fußball-Bundesliga, für die kein Verein aus Ludwigshafen berücksichtigt wurde, spielte Phönix fortan weiter zweitklassig in der Fußball-Regionalliga Südwest. In der Spielzeit 1963/64 wurde der Verein 9., noch vor den Lokalrivalen Ludwigshafener SC und TuRa Ludwigshafen. In der Hoffnung, durch eine Fusion und Zusammenlegung der Kräfte die Bundesliga zu erreichen, fusionierten am 29. Mai 1964 TuRa Ludwigshafen mit Phönix Ludwigshafen zum SV Südwest Ludwigshafen.