В 1676 році, за особистим дорученням гетьманаІвана Самойловича, запорізький козак Іван Підстрельний підшукував місце для будівництва укріплення для захисту кордонів від нападів шляхти Речі Посполитої, кримських татар і османів поблизу кордону з Річчю Посполитою та Османською імперією.[1] Таке місце було обрано на лівому березі річки Синюхи в місці впадіння її до Південного Бугу на скелястому пагорбі, оточеному зі сходу глибоким яром. Того ж року козаки насипали земляні вали і побудували укріплення у формі правильного восьмикутника. Укріплення отримало назву Орлик, або Орел (від місцевого урочища Орелі). На схід від укріплення, вздовж берегів Синюхи і Південного Бугу, виникла слобода Орлик.[2]
В 1743 році, за дорученням російського уряду, під керівництвом миргородськогополковникаВасиля Капніста та французького інженера Даніеля де Боскета збудовано шестибастіонний Орлівський шанець, який згодом знаходився в підпорядкуванні фортеці святої Єлисавети (м. Єлисаветград). Основну частину населення слободи Орел становили запорізькі козаки та селяни-втікачі. Згодом Орел почав розвиватись, як митний торговельний і ремісничий центр. Вже 1763 року він згадується як містечко, де більшість населення займається ремісництвом. Наступного, 1764, року тут засновано прикордонне комісарство і митниця, дозволено селитись купцям.
В 1768 році гайдамацький загін під керівництвом Семена Шила, що діяв на правобережжі Бугу, зруйнував ряд ханських поселень, серед них і Голту. Ці дії стали формальним приводом до початку російсько-турецької війни 1768 — 1774 років. У 1769 році кримці зруйнували Орлівський шанець і прилеглі хутори, взяли в полон близько 1000 мешканців. В 1770 році 2-а російська армія підійшла до Орла, відновила укріплення і містечко, що отримало нову назву Катериненшанц.
В 1781 році Катериненшанц у межах «грецького проєкту»Катерини ІІ отримує статус міста і нову назву — Ольвіополь, на честь стародавньої Ольвії, руїни якої знаходилися значно південніше і залишалися поза російськими володіннями[3]. Катерининський повіт стає Ольвіопольським. З січня 1784 року Ольвіополь — повітове місто Катеринославського намісництва. В 1799 році його населення становить 835 осіб. Після ліквідації намісництва, місто спочатку стає посадом, з 1797 року — знов повітовим містом Новоросійської губернії. Указом від 8 жовтня 1802 року Новоросійська губернія була поділена на Катеринославську,Миколаївську і Таврійську губернії. Ольвіопольський повіт ввійшов до складу Миколаївської губернії. Проте вже в травні 1803 року губернське управління переведено з Миколаєва до Херсона і губернія стає Херсонською. В 1809 році засновано міську ратушу в складі бургомістра і двох ратманів. В 1829 році місто переводиться до розряду військових поселень і включається до складу IV Бузького уланського полку.
6 (18) серпня 1845 року затверджено герб Ольвіополя: «У верхній половині щита на золотому полі Державний Російський герб, а в нижній, поділеній на дві частини, у першій: на блакитному полі півмісяць, у другій: на червоному полі білий одноголовий орел».
В 1860 році Ольвіополь стає заштатним містом Єлисаветградського повітуХерсонської губернії. Його населення на той час становить 3962 особи. В 1872 році німець-колоніст Август Ган будує в Ольвіополі паровий млин. В 1874 році стає до ладу невеличкий шкіряний завод. В місті працюють громадський банк, поштова контора, 7 торговельних крамниць. Двічі на місяць в місті збираються базари. Частина місцевих жителів займається ремеслами (ковалі, чоботарі, каменярі, шевці), проте переважна більшість населення займалась рільництвом, тваринництвом, овочівництвом і бджолярством. В 1883 році в місті діяло вже кілька переробних сільсько-господарських підприємств: 4 водяних млини з 18-ма працівниками, шкіряний завод (60 працівників), винокурня (12 працівників). В вересні 1867 року введено в дію ділянку залізниці Балта — Ольвіополь, а за рік — дільниці Ольвіополь — Єлисаветград. Це дало новий поштовх розвитку промисловості міста. В 1907 році добудована до Ольвіополя вузькоколійна залізниця Підгородня — Рудниця. На кінець XIX сторіччя в Ольвіополі мешкало понад 5,8 тисячі мешканців. В місті функціонувала земська однокомплектна школа, два міських училища. В 1913 році відкрита міська чоловіча гімназія.
24 січня 1918 року Ольвіополь окупували більшовики. Проте вже 18 березня до міста ввійшли українські війська гетьманаСкоропадського, а також німецько-австрійські підрозділи. В листопаді 1918 року армія Центральних держав залишили місто і в ньому була встановлена влада Директорії УНР. 7 березня 1919 року до Ольвіополя ввійшли більшовицькі частини. В місті створено ревком, обрано виконком міської Ради робітничих, селянських і червоноармійських депутатів. За радянською легендою, на першотравневому мітингу 1919 року командир 1-го комуністичного загону особливого призначення Т. М. Гуляницький висунув пропозицію об'єднати Ольвіополь, Богопіль і Голту в єдине місто і назвати його Первомайськ. Однак, місцеві краєзнавці ставлять під сумнів таку версію подій, і вислювлюють припущення, що об'єднати міста було вирішено лише з прибуттям до них Григорія Петровського.[4]
6 липня 1919 року об'єднане засідання трьох виконкомів під головуванням Г. І. Петровського прийняло резолюцію про утворення єдиного виконкому. Президія ВУЦВК погодилась з цим рішенням і утворила повітове місто Первомайськ.