Începând cu 1907 a servit în Statul Major al Marinei și a comandat canonul Donets. ulterior a comandat o divizie de distrugătoare și a ocupat diverse posturi de personal. În 1917 s-a căsătorit cu Anastasia, sora artistului Mihail Vrubel. În 1917 a fost promovat contraamiral și a comandat Flota Mării Negre, înlocuindu-l pe Aleksandr Kolceak. În acest rol, la 23 noiembrie 1917, a cerut Republicii Populare Ucrainene să ia flota aflată sub jurisdicția sa.[2] La 30 septembrie 1918, statul ucrainean l-a numit pe Nemitz în funcția de Ministru al Marinei ucrainene.[3] Mai târziu, în 1918, sa alăturat Marinei Roșii și a luptat în războiul civil, unde a fost rănit.[4]
În februarie 1920 l-a înlocuit pe Evgheni Berens în funcția de comandant al Marinei sovietice. Din 1924 a condus toate academiile navale și aeriene sovietice.