Народився 9 (21) березня1860(18600321) року в Києві, у родині Івана Антоновича Гошкевича, священика Царекостянтинівської церкви на Подолі в Києві, пізніше — викладачадуховної семінарії. Фахову освіту здобув на історичному відділенні історико-філологічного факультету Київського університету (1882—1886), де вивчав археологію під керівництвом вчених-істориків Володимира Антоновича і Миколи Петрова. Навчаючись в університеті, майбутній археолог одночасно працював в астрономічній обсерваторії та був кореспондентом декількох київських газет. Входив до гуртка Володимира Антоновича.
Був активним громадським діячем. З 1898 по 1907 роки видавав газету «Юг». Провів величезну кількість досліджень по вивченню давньої історії Південної України та історії запорізького козацтва.
У 1890 році започаткував прообраз першого херсонського музею. Спочатку це була музейна колекція при статистичному комітеті, яка пізніше переросла у справжній «Музей історії та старожитностей», один з найкращих серед губернських музеїв тодішньої імперії. Відкриття музею відбулось 1 жовтня1911 року в окремому будинку (сучасна адреса — пр-т Ушакова, 16).
З 1896 року — дійсний член Товариства історії та старожитностей.
Володимир Кедровський у своїх спогадах про Віктора Гошкевича зазначає, що останній поважав українські традиції та звичаї, щиро підтримував ідею української державності. Віктор Іванович часто казав, — писав Кедровський, що патріотом може бути лише та людина, яка знає історію свого народу і плекає його найкращі традиції. Тому, пояснюючи якийсь музейний експонат, він нав'язував його до побуту і звичаїв українського народу, до української старовини.
Про скитів Віктор Іванович дуже багато розповідав, вважаючи їх за той народ, з якого пізніше сформувалася українська нація. Взагалі, він стояв на становищі, що з часів первісної людини, з кам'яної доби українці замешкували ті самі землі. Приходили різні народи, різні завойовники, але згодом всі вони розпорошувалися і змішувалися з автохтонним населенням. На цих теренах, де стикалася римська та грецька культури з культурами народів, що йшли з Азії, відбувалася невпинна боротьба. І тому, на думку Гошкевича, "чиста українська раса" - це раса, що постала з людей кам'яної доби, кімерійців, скитів, сарматів, хозарів, аланів, греків і т. д.
— Володимир Кедровський. Обриси минулого (Деякі останні діячі-українофіли напередодні революції 1917 р.)
Найбільшим відділом Музею старожитностей Гошкевича був відділ запорізької старовини. Гошкевич найбільше його любив, і коли починав розповідати про ту чи іншу пам'ятку, то, як зазначав Кедровський, «так яскраво поставалав уяві та доба, та слава козача, що не можна було перевести дихання. Він тоді ніби палав якимось дивним внутрішнім вогнем».
У відділі запорізької старовини Гошкевич одразу переходив на українську мову, якою володів бездоганно, співучим київським діалектом. Він казав, що «цей куточок слави України, ці козацькі речі вимагають, щоб тут уживали лише тієї мови, якої вживали їх власники». Цього «мовного ритуалу» він ніколи не порушував, навіть тоді, коли музей відвідували високі гості.
У відділі запорізької старовини Гошкевич час від часу читав лекції з історії України. У 1912–1914 роках, коли Херсонське Губерніальне Земство влаштовувало загальоосвітні курси, на які прибувало до 750 вчителів з різних частин губернії, Гошкевич вечорами, без дозволу курсової адміністрації, викладав курс історії України.
Праці
Древние городища по берегам низового Днепра: Летопись музея. Вып. 3 /Херсон. музей древностей Херсон. края. — Херсон, 1913. — 31 с.: ил. — (Оттиск ИАК; Вып. 47). (рос.)
Летопись музея за 1909, 1910 и 1911 годы. Вып. 2 / сост. В. И. Гошкевич; Херсон. гор. музей древностей. — Херсон: Тип. С. Д. Ходушиной, 1912. — 86 с. : ил. (рос.)
Летопись музея за 1912 год. Вып. 4 / сост. В. И. Гошкевич. — Херсон: Изд. гор. упр., 1914. — 71 с. (рос.)
Летопись музея за 1913 год. Вып. 5 / сост. В. И. Гошкевич. — Херсон: Изд. гор. упр., 1915. — 44 с. (рос.)
Летопись музея за 1914 год. Вып. 6 / сост. В. И. Гошкевич. — Херсон: Изд. гор. упр., 1916. — 48 с. (рос.)
Список населенных мест Херсонской губернии и статистические данные о каждом поселении / сост. В. Гошкевич. — Херсон: Тип. губ. правл., 1896. — 582 с. (рос.)