Seine beiden Brüder Anton junior und Josef waren Politiker der SPÖ. Viktor Afritsch war mit Josefine, geb. Ascherl (* 6. Juni 1912; † ca. 1960), verheiratet, mit der er zwei Söhne hatte.
Sein Grab befindet sich auf dem Bergfriedhof von Berchtesgaden.
Kay Weniger: Das große Personenlexikon des Films. Die Schauspieler, Regisseure, Kameraleute, Produzenten, Komponisten, Drehbuchautoren, Filmarchitekten, Ausstatter, Kostümbildner, Cutter, Tontechniker, Maskenbildner und Special Effects Designer des 20. Jahrhunderts. Band 1: A – C. Erik Aaes – Jack Carson. Schwarzkopf & Schwarzkopf, Berlin 2001, ISBN 3-89602-340-3, S. 38.