Som student i 1820'erne stillede Visby sig stærkt kritisk til "tyskheden", og sammenlignede tyskere bosat i Danmark med jøder. Mens jøderne efter hans mening var i færd med at integreres i det danske samfund, mente han, at tyskerne udgjorde en indre koloni, der foragtede alt dansk. Han baserede sin opfatning på, at lærerne ved den tyske Sankt Petri Skole angiveligt lærte eleverne at se ned på dansk sprog og kultur, og gik til fysisk afstraffelse, hvis børnene talte dansk. Jens Kragh Høst og den tidligere elev ved Sankt Petri, Orla Lehmann, støttede Visby i dette syn, mens den tyske kreds omkring Sankt Petri svarede igen med erklæringer og injuriesøgsmål. [1]
^Citeret fra Danmark kortArkiveret 22. maj 2010 hos Wayback Machine ved Karsten Pharao, 19. maj 2010. Kierkegaard roser Visbys evne til at improvisere. Hvis der for eksempel under en prædiken pludselig faldt en solstråle ind gennem vinduet, kunne Visby gribe denne lejlighed til en pointe, så Kierkegaard kunne "gå bort med en solstråle i hjertet". — En præcis kilde efterspørges.