Davidson föddes i Norrköping som son till klädesfabrikanten och handlaren Isak Davidson. Han studerade till sockerbagare utomlands i slutet av 1820-talet och gick tillsammans med brodern August gick i lära hos konditorn Abraham Christopher Behrens 1829–1834 i Stockholm. 1833 avlade han gesällprov och blev 1844 sockerbagarmästare. De båda sönerna var lopp födda i en judisk familj, vilken invandrat från Tyskland, de flesta andra skrån var vid denna tiden stängda för lärlingar utanför den kristna tron. Davidson startade 1834 Petit café på Storkyrkobrinken 14 och arrenderade från 1839 Barnhuskällaren vid Drottninggatan med tillhörande park där han lät uppföra Davidsons paviljonger enligt Carl-Gustaf Blom-Carlssons ritningar; den södra paviljongen användes till kafé och den norra till baler samt dramatiska föreställningar. Men allra mest lockade sommartiden, med konserter i Trädgårdsföreningens park. och lyckades spara ihop tillräckligt med pångar för att 1843 tillsammans med brodern starta en stor schweizerirörelse i Trädgårdsföreningen vid Drottninggatan. Här kom genom Vilhelm och hans broder August Davidsons bemödanden ett »casino» till stånd med olika förströelser.
Sedan Barnhuskällaren som Davidson arrenderat brann 1848 lät han på tomten uppföra källaren Phoenix, som förvandlades till lyxhotell i tre våningar med en förstklassig restaurang. 1852 köpte han av grosshandlare G. Michaelsson för 25,761 riksdaler 8 runstycken banko Ludvigsro på Djurgården. Davidson hade redan ett årtionde förut haft ett litet schweizeri vid ingången till Frisens park. Ludvigsro återfick nu sitt gamla namn Hasselbacken och öppnades 1853. På Hasselbacken med Gubbhyllan flödade punschen och noblessen och kungligheterna, likväl som det enkla folket, flockades kring festerna. Bellmansfesterna i augusti var populära och 1872 lät han resa den staty av Bellman, som fortfarande kan beskådas i Hasselbackens park.
Davidson blev en mycket rik man och var även verksam som husbyggare och en framstående personlighet i staden. Han byggde totalt åtta fastigheter på Norrmalm, bland annat de Davidsonska husen på Kungsträdgårdsgatan 20, Kungsträdgårdsgatan 8 och Kungsträdgårdsgatan 2 B. 1869 blev han riddare av Vasaorden. Davidson gifte sig 1838 med Bernhardina Levin och trots att han tidigt blev änkeman hann paret få 10 barn tillsammans som också skulle komma att driva verksamheten vidare samt bygga Cirkus.[4][5] Dottern Jeanette Jacobsson var en av Operans främsta sångerskor.