С 1877 года служил во Владивостоке. В 1880 году Владивосток стал городом, образовано Владивостокское военное губернаторство, Фельдгаузен произведён в контр-адмиралы и назначен военным губернатором Владивостока. Становление и развитие города и военного порта шло при деятельном участии Фельдгаузена.
С 1880 года Отдельная съёмка Восточного океана начала исследования залива Петра Великого. Создавалась и усиливалась береговая оборона военного порта, его минная защита, строилась его ремонтная база[3].
По инициативе Фельдгаузена в марте 1883 года во Владивостоке проведена первая «всенародная» перепись населения. Насчитали 9167 человек[4].
17 (29) апреля1883 года вышел первый номер первой городской газеты «Владивосток». Фельдгаузен назначил редактора на должность в порту, дал редакции помещение, типографию морского штаба, добился ежегодной субсидии от Морского министерства. До 1899 года газета не была подцензурна гражданским властям, так как была «морской», то есть контролировалась морским ведомством[5].
Жена, Александра Александровна Фельдгаузен, возглавляла Владивостокское благотворительное общество и местное отделение общества Красного Креста. Оказывая помощь больным, она заразилась тифом и умерла 22 июля (3 августа) 1886 года в возрасте 28 лет. Похоронена на Покровском кладбище Владивостока[7][8][9].
В связи со смертью жены, Фельдгаузен обратился к бывшему в эти дни во Владивостоке вице-адмиралу И. А. Шестакову, управляющему Морским министерством, и получил разрешение перевестись на Балтику[9].
12 (24) августа1886 единогласным решением Владивостокской городской думы избран почётным гражданином Владивостока[10][11].
С 13 (25) сентября1854 года по 27 августа (8 сентября) 1855 года лейтенант Фельдгаузен находился в гарнизоне и участвовал в обороне Севастополя. В 1855 году был адъютантом адмирала П. С. Нахимова.
С 1856 года командовал на Чёрном море яхтой «Орианда», тендером «Скорый», в 1859 году — на Балтике, командовал канонерской лодкой «Комар»[13].
23 февраля (6 марта) 1860 года уволен для службы на коммерческих судах. В январе 1863 года произведён в капитан-лейтенанты, в январе 1871 года — в капитаны 2 ранга.
13 (25) июля1873 года зачислен на действительную службу. В 1875 году произведён в капитаны 1 ранга.
9 (21) июня1880 года — Фельдгаузен произведён в контр-адмиралы и назначен на должность Главного командира портов Восточного океана и Военного губернатора Владивостока[10].
15 (27) октября1886 года — оставил должности командира портов и губернатора[10]. Переведён на Балтийский флот, назначен в распоряжение управляющего Морским министерством.
20 июля (8 августа) 1887 года — уволен от службы с производством в вице-адмиралы.
↑130 лет со дня выхода первого номера… (недоступная ссылка) // сайт библиотеки им. А. М. Горького, Владивосток, 17 апреля 2013. (Дата обращения: 20 мая 2013)
Чернышёв А. А. Российский парусный флот. Справочник. — М.: Воениздат, 2002. — Т. 2. — 480 с. — (Корабли и суда Российского флота). — 5000 экз. — ISBN 5-203-01789-1.
Веселаго Ф. Ф. Общий морской список от основания флота до 1917 г.. — СПб.: «Атлант», 2013. — Т. 12 / Царствование Императора Николая I. Т — Я. — 456 с. — (Военно-историческая библиотека). — ISBN 978-5-906200-18-1.