Pesti jómódú polgári családból származott. Középiskoláit ugyanott a piaristáknál végezte 1844 és 1852 között. A 7. osztályból lépett a kegyesrendiek közé és novíciusi évét 1853-ban Vácott töltötte. A 8. osztályt Selmecen végezte, majd mint tanár 1855-ben Léván, 1856-ban Nagybecskereken működött. 1857-ben mint teológus Kalocsán volt, ahol májusban megvált a rendtől és szeptember 19-én premontreivé lett Csornán.
1858-1859-ben Keszthelyen tanárkodott, 1860-ban Szombathelyre helyeztetett át. 1868 októberében tanári vizsgát tett latin, görög és német nyelvből. 1878-ban bölcseleti doktorrá avatták. 1861-ben felszentelték. 1880 elején Keszthelyre ment igazgatónak.
Az archaeológiai és philológiai társaság választmányi tagja volt. A régészet iránti hajlamot benne is Rómer Flóris ébresztette, amidőn őt Szombathelyt többször fölkeresve, a vidék római emlékeit együtt kutatták. A Vasmegyei Közlöny útján, mely szintén Lipp alapítása, már 1871-ben a megyei múzeumegylet létrejöttét szorgalmazta. Trefort Ágoston közoktatásügyi miniszter figyelmét is felkeltette, aki Lippet tanulmányi célból 1876-ban hosszabb olaszországi útra küldte. Hivatalos kötelessége mellett fokozatos kedvvel foglalkozott régészeti tanulmányokkal és Keszthely környékén ásatásokat folytatott, ahol egy páratlan gazdagságú és terjedelmű népvándorláskori temetőre bukkant, amelynek leleteit a Magyar Nemzeti Múzeum népvándorlási gyűjteményébe küldte.
A keszthelyi Szent Miklós-temetőben helyezték örök nyugalomra (V. parcella, 4. sor, 14. sírhely). Síremlékét 2021-ben újította fel a Nemzeti Örökség Intézete.[1][2]
1887 A vasm. régiségtár: Őskori emlékek, Római emlékek, Oklevélgyűjteményemből. Uo.
Szerkesztette a Vasmegyei Közlönyt 1877. január 1-től 1879. január 5-ig és mint titkár a vasmegyei régészeti egylet Jelentéseit 1873-1879-ig VII. évfolyamát Szombathelyt.
Kéziratai
Walter Scott, tanulmány Schmidt Juliántól és Bodenstedtnek egy novellája; két magyar vígjátékot is írt, egyike: Igazmondó címmel 1870-ben Szombathelyt színre is került.
Emlékezete
Síremléke 2016-ban
Szombathelyi emléktábla
Szombathelyen és Keszthelyen utca van róla elnevezve (Lipp Vilmos utca, Lipp Vilmos köz).