Нарадзіўся ў знатнай сям’і ў італьянскім горадзе Фразіноне (у раманскай Кампаніі). Да прыняцця сану быў жанаты, яго сын Сільвер таксама стаў Рымскім Папам. Гармізд займаў важныя пасады пры Сімаху. Гармізду ўдалося пераадолець працяглы раскол у адносінах з Канстанцінопалем — акакіянскую схізму. Гэта адбылося пасля таго, як імператарам Візантыі стаў Юсцін I.