Fue fundada en 1918 por varios músicos como una privada "Sociedad de Músicos Profesionales para el Cultivo Mutuo de las Artes". Tenía miembros pagados y el objetivo era hacer música por placer personal sin buscar lucro. El primer director musical fue Willem Feltzer, que era el mánager de dos escuelas musicales de Róterdam. Felzer fue sucedido por Alexander Schmuller durante dos años.
En mayo de 1930, Eduard Flipse fue nombrado director de orquesta, puesto que mantuvo hasta 1962. Durante su larga estadía, el conjunto amateur evolucionó hasta convertirse en una orquesta profesional.
Cuando Flipse recibió el cargo de Felzer y Schmuller, la orquesta estaba en pobre condición, tanto financiera como artísticamente. Sin embargo, Flipse poseía habilidades de manejo y visión musical. Estableció un "Fondo Instrumental" para obtener fondos para instrumentos nuevos y otras necesidades, y la orquesta se hizo conocida por su especial atención a la música del siglo XX, presentando obras de compositores holandeses como Johan Wagenaar, Willem Pijper y Alphons Diepenbrock. Una sala de concierto de 1300 asientos, el Doelen, fue construida en 1935, y la orquesta fue premiada por un creciente número de oyentes. Cuando el Concilio de la Ciudad de Róterdam comenzó a subsidiar la orquesta, sus problemas formaron parte del pasado.
El 7 de mayo, la orquesta tocó un concierto de Bruch y Stravinsky celebrando los primeros diez años de Flipse como director. En junio de 1940, Róterdam planeaba celebrar su sexto centenario y la Filarmónica planeó un programa especial. Sin embargo, el 14 de mayo, la Alemania Nazibombardeó Róterdam hasta casi destruirla casi completamente, lanzando así su ocupación de los Países Bajos que duró hasta fines de la Segunda Guerra Mundial. El Doelen quedó en ruinas, así como la facilidad para ensayar, con la mayor parte de la biblioteca musical y todos los instrumentos de la orquesta.
Pese a sus problemas, la temporada de la orquesta terminó de acuerdo a lo planeado, gracias a las otras orquesta neerlandesas que dieron conciertos para obtener fondos y ayudaron con equipos y partituras. La Koninginnekerk, una de las pocos iglesias que sobrevivió al bombardeo, se convirtió en el nuevo auditorio.
Desafortunadamente, la reglas de la nueva Cultuurkamer, un organización que regulaba las artes de los Países Bajos ocupados por los nazis, fue severamente restrictiva y discriminatoria. Cada música tenía que ser miembro del Cultuurkamer, los músicos judíos fueron despedidos, y la música de los compositores judíos fue prohibida, tal como sucedió en otros países ocupados por la Alemania Nazi.
Después de la guerra, la orquesta careció de una sede permanente hasta que una nueva sala de conciertos, también llamada Doelen, fue construida en 1966. Acústicamente, es considerada una de las mejores salas de concierto modernas del mundo.
Después de que Flipse se retirase como director principal en 1962, fue sucedido por Franz Paul Decker (1962-1967) y Jean Fournet (1968-1973). En 1967, el joven director neerlandés Edo de Waart fue nombrado director de la orquesta; también serviría como director musical entre 1973 y 1979. Bajo De Waart y David Zinman, que le sucedió como director principal entre 1979 y 1982, la orquesta se convirtió en un conjunto de talla internacional, realizando muchas grabaciones y exitosas giras internacionales.
Entre 1983 y 1991, el director estadounidense James Conlon fue el director principal de la RPhO. El británico Jeffrey Tate sucedió a Conlon, entre 1991-1995.