Njegov oče, po katerem je bil poimenovan, je bil dvorni tesar cesarja Jožefa II. in ga je vpeljal v svojo obrt. Poleg tega je končal študij na Visoki gradbeni šoli na Dunaju in opravil študijsko potovanje po Italiji in Nemčiji. Leta 1812 se je pridružil Napoleonovim enotam v napadu na Rusijo, kjer se je v bojih izkazal in bil odlikovan z legijo časti.[2] Že naslednje leto (1813) pa se je med umikom francoske vojske vrnil nazaj v Gradec in prevzel očetovo obrt. Leta 1817 je postal stavbni mojster v Gradcu, pri čemer je postal znan po dobri izvedbi del in inovativnosti: tako je izumil sistem odvajanja vonjav iz stranišč ter tlakovanje cest s hrastovimi kockami.[2]
Na podlagi izkušenj tako iz vojaške kot gradbene kariere je sprva v Gradcu zgradil Withalmov Kolizej[3], nato pa še v Ljubljani.[2] Še večji mejnik v štajerski arhitekturno-gradbeni zgodovini pa je postavil leta 1846, ko je pričel v Gradcu z gradnjo Železne hiše, enega prvih primerov litoželezne gradnje v Evropi.[3][4]
Poleg tega, da je bil iznajdljiv in dober poslovnež, pa se je posvetil tudi filantropiji: financirje šolanje revnih otrok, pomagal v času epidemij, ohranil nizke cene,...[4]
12. avgusta 1850 je bil zaradi zaslug pri razvoju mesta (S postavitvijo vašega sijajnega Kolizeja, ki je mestu Ljubljani v okras, ste prebivalcem dokazali neprecenljivo dobroto, z njim odrešili mesto vojaških nastanitev in obvarovali pred širjenjem nalezljivih bolezni (...)[5]) razglašen za častnega meščana Ljubljane.[4]
