Etter å ha fått en grundig handelsutdannelse trådte han i 1877 inn i det bergenske firmaet Aug. C. Mohr & Søn. Etter farens død i 1880 ble han sjef for firmaet sammen med onkelen Anthon Mohr. Etter onkelens død i 1890 ble han eneinnehaver, men opptok Christian Magnus Kjær som kompanjong i 1897. I 1902 trådte han ut av firmaet. I Mohrs tid ble firmaet opparbeidet til å være Norges største kornimportør, særlig ved å utnytte kornmarkedene ved Svartehavet.
Conrad Mohr ble i 1887 utnevnt til tyskkonsul og hadde ofte befatning med den tyske keiser Wilhelm II under dennes reiser i Norge. I 1918 ble han tysk generalkonsul. Et portretthode av ham, utført av Sofus Madsen, står ved Lille Lungegårdsvann i Bergen. Conrad Mohrs vei på Minde i Bergen er oppkalt etter ham.