Hijo del arquitecto James Elmes, Harvey nació en Chichester. Después de servir algún tiempo en la oficina de su padre —que también fue editor y biógrafo de Christopher Wren— y al servicio de un topógrafo en Bedford y de un arquitecto (Henry Goodridge) en Bath, Elmes se convirtió en socio de su padre en 1835.
Uno de los primeros edificios que diseñó fue el 10-12 de Queen Anne's Gate, en Westminster, Londres, por encargo de Charles Pearson, representante legal de la City.[2] En julio de 1839, siendo aun muy joven, tuvo éxito entre 86 competidores para el diseño para St George's Hall, Liverpool, una suerte de basílica civil. La primera piedra de este edificio había sido puesta el 28 de junio de 1838, pero habiendo tenido éxito Elmes en un concurso para la Assize Court en la misma ciudad, se decidió finalmente a incluir el hall y los tribunales en un solo edificio. En consecuencia, Elmes preparó un nuevo diseño, que con su masa articulado se aleja de la pureza griega, y la construcción comenzó en 1841. Supervisó su progreso hasta 1847, cuando debido a su mala salud, se vio obligado a delegar sus funciones en John Weightman (City Surveyor) y Robert Rawlinson (ingeniero estructural) y se marchó a Jamaica, donde murió de tuberculosis el 26 de noviembre de 1847. Charles Robert Cockerell asumió la supervisión del proyecto en 1851 y diseñó la sala de conciertos y el complejo no fue inaugurado hasta 1854.
