Прослужив 4 года на Балтийском флоте, Панфилов отправился на три года в Средиземное море, где поступил на корвет «Наварин» под команду П. С. Нахимова, с которым с того времени и проходил всю службу до конца его дней.
В 1834 году Панфилов был переведён по собственному желанию в Черноморский флот и в 1835 году в чине лейтенанта (произведён в 1830 году) командовал тендером «Луч». После двухлетнего плавания в Архипелаге, Панфилов поступил на службу на Кавказский берег в звании дежурного штаб-офицера и в течение 10 лет участвовал в Кавказской войне. Он лично распоряжался десантами и амбаркациями для укрепления возникшей Черноморской береговой линии. Причём, особенно отличился Панфилов в деле с горцами 3 октября 1838 года при высадке десанта в Субаши на Кавказе. За это его произвели в капитан-лейтенанты.
В 1841 году, за отличие по службе, произведён в капитаны 2-го ранга. 17 апреля 1845 года, также за отличие по службе, произведён в капитаны 1-го ранга. 26 ноября 1848 года награждён орденом Святого Георгия 4-й степени «За беспорочную выслугу 25 лет в офицерских чинах» (№ 7949 по списку Григоровича — Степанова).
После возвращения с Кавказа, Панфилов в 1849 году был назначен командиром одного из лучших тогда кораблей «Двенадцать апостолов», который он принял от В. А. Корнилова. На нём в 1850 году провёл пять суток великий князь Константин Николаевич, обративший внимание на образцовый порядок, найденный им на корабле.
1 июня 1853 года Панфилов был произведён в контр-адмиралы и назначен командиром 1-й бригады 4-й флотской дивизии. На корабле "Двенадцать апостолов" принял деятельное участие в Синопском сражении, за отличие в котором награждён орденом Святого Владимира 3-й степени.
"…за отличную храбрость в сражении с неприятельским пароходом, благоразумные распоряжения и быстрые исполнения оных при окончательном истреблении пароходами неприятельских судов и при отводе в Севастополь сильно избитого корабля «Императрица Мария»
— Из представления к ордену
Перед началом Крымской войны, имея свой флаг на том же корабле, Панфилов совершил в сентябре в эскадре Нахимова одну из крупнейших перевозок войск морем для того времени — из Одессы на Кавказский берег было переброшено и высажено 19000 человек. Во время начавшейся Крымской кампании Панфилов был послан с эскадрой из пароходов снять гарнизоны черноморской береговой линии и сжечь и уничтожить сами укрепления, что и было исполнено им в виду английских и французских крейсеров, с которыми 3 июня 1854 года Панфилову пришлось иметь дело, с честью им выполненное, несмотря на неравенство сил.
Во время обороны Севастополя Панфилов командовал 3-м отделением оборонительной линии, где в течение девяти месяцев, днём и ночью, неустанно укреплял разрушаемое неприятелем и геройски отражал атаки противника.
Также наряду с генерал-лейтенантом С. А. Хрулёвым он являлся главным героем отбития штурма 27 июня. После смерти адмирала П. С. Нахимова Панфилов занял его пост — помощника начальника гарнизона и был произведён 27 июля 1855 года в вице-адмиралы с назначением начальником 5-й флотской дивизии. При отступлении наших войск на Северную сторону, Панфилов оставил Севастополь последним (за что получил орден Святой Анны 1-й степени с императорской короной). На Северной стороне он был назначен начальником укреплений в звании командира Севастопольского порта. Затем Панфилов отправился в Николаев для представления императору Александру II, а когда в сентябре в Николаев были переведены морские команды, Панфилову была поручена оборона этого города.
Назначенный в 1856 году губернатором и начальником морской части Николаева, он обратил особое внимание на многочисленных больных, очень плохо и тесно помещённых, вследствие чего смертность доходила до 3500 человек в месяц.
Он устроил госпиталь из местного канатного завода, часть размещавшихся в землянках ратников взял к себе, часть приказал взять своему начальнику штаба Г. И. Бутакову, а всех остальных разместил между обывателями. Благодаря этим мерам и заболеваемость, и смертность значительно уменьшились.
Пробыв затем некоторое время главным командиром Свеаборгского порта, Панфилов 17 апреля 1858 года был назначен членом Адмиралтейств-совета. В 1862 году награждён орденом Святого Владимира 2-й степени с мечами, 1 января 1866 года произведён в адмиралы, а в 1873 году пожалован орденом Святого Александра Невского. Скончался Панфилов в Санкт-Петербурге 13 (25) мая 1874 года. Похоронен на Смоленском православном кладбище.
Клокачев П.Панфилов, Александр Иванович // Русский биографический словарь : в 25 томах / Под наблюдением председателя Императорского Русского Исторического Общества А. А. Половцева. — СПб., 1902. — Т. 13: Павел преподобный — Петр (Илейка). — С. 271—272.
Степанов В. С., Григорович П. И. В память столетнего юбилея императорского Военного ордена Святого великомученика и Победоносца Георгия. (1769—1869). — СПб., 1869.
Фёдоров М. Р. Адмирал А. И. Панфилов. // Гангут. — 1992. — Вып. 4. — С. 86—88.