Hans Jørgen Swane havde før og under sit ophold i sognene i Viborg Stift fået et godt forhold til biskop Otto Laub. Laub så ham som et teologisk talent, og det var derfor naturligt, at Laub i 1871 hentede Swane tilbage til Jylland, da stiftet og Viborg Domkirke manglede en ny stiftsprovst efter Frederik Peter Welding,[1] ligesom han blev præst for Asmild- og Tapdrup Kirke. Domkirken lukket på grund af delvis nedrivning og genopbygning.
Viborg Domkirke havde ved Swanes ordinering som biskop kun været åben i to år siden lukningen i 1862. Derfor ventede flere store udfordringer ham som ny biskop over stiftet. Han var primus motor for at sætte kirken i fokus efter åbningen, lige som han var idémand til Joakim Skovgaardsfresko-malerier i det store kirkerum.
Hans Jørgen Swane var en konservativ biskop. Han var modstander af ændringer i kirkelige ritualer, lige som han mente, at et ny udgave af salmebogen og ny oversættelse af Biblen var overflødig.
Da Swane i 1901 som 80-årig gik på pension, var han blevet respekteret hos de lokale menigheder i stiftet og hos embedsværket i København. Derfor havde det også indflydelse på, at Alfred Sveistrup Poulsen blev hans efterfølger, da Swane havde anbefalet ham som sin afløser.
Hans Jørgen Swane er søn af mægler Lars Swane (1790–1874) og Julie Annette Clausen (1795–1887). Den 21. marts1850 blev han i Vor Frue Kirke i København gift med Magdalene Sørena Bruun (1827-1909) fra Asmild i Viborg.