Post la abiturienta ekzameno li iĝis studento de juro sed interrompis baldaŭ la studojn. En 1912 li unuafoje aktoris en Vieno ĉe Stadttheater. Li soldatis dum la Unua mondmilito kaj dungitis en 1919 fare de Max Reinhardt ĉe la viena Theater in der Josefstadt. Poste li aktoris en Munkeno ĉe Kammerspiele, en Vieno ĉe Carltheater kaj - denove sub la direktorado de Reinhardt - en Berlino ĉe Deutsches Theater.
La roloj de Karlweis - kiu ankaŭ impresis kiel kantisto kaj dancisto - ampleksis la elegantajn kaj amoplenajn karakterojn de la aŭstra popola teatro kiel ankaŭ la ĝentlemanajn heroojn de tiutempaj salonkomedioj kaj operetoj.
Tio ankaŭ influis la elekton de liaj filmroloj: per populara sonfilmopereto nome "Die Drei von der Tankstelle" li furoris kaj famiĝis al granda publiko flankite de Willy Fritsch kaj Heinz Rühmann. Li substrekis siajn kvalitojn kiel komediisto kaj amanto en aliaj filmoj kiel Zwei Herzen im ¾ Takt", "Dolly macht Karriere" kaj "Der Tanzhusar", antaŭ la nazioj finis la karieron en Germanlando. Pro la malpermeso de projekciado de filmoj kun judaj aktoroj (fakte lia patro jam konvertiĝis al protestantismo...) Karlweis - kiu en 1933 revenis Vienon - devis limigi sin je teatra aktorado.
Post la t.n. Anschluss li fuĝis unue en Ĉeĥoslovakion, poste tra Hispanio kaj Portugalio en Usonon. Ĉe Broadway li havis en 1944/45 triumfegon kiel ĉefrolulo en la teatraĵo Jakobowsky und der Oberst de Franz Werfel. Ankaŭ post la Dua mondmilito li restis aktiva aktoro kaj pendollaboris inter Novjorko, Vieno kaj Berlino. En amerikaj kinofilmoj dum la 1950-aj jaroj li havis flankajn rolojn, kiel ekz. de germana diplomato en Five Fingers (1951) de Joseph L. Mankiewicz aŭ de emigrinto en The Juggler de Edward Dmytryks "The Juggler". En 1953 li ludis en la komedio "Hollandmädel": tio estis lia ununura aktorado en la germanlingva postmilita kinoarto.
Li estis la edzo de la amerika filmproduktistino Ninon Tallon (1908-1977).
Filmoj germanlingvaj
1953: Hollandmädel
1934/1935: Alles für die Firma
1934: Letzte Liebe
1933: Frühlingsstimmen
1932/33: Heut kommt's drauf an
1932/33: Keinen Tag ohne Dich
1932/33: Die Herren vom Maxim
1932: Hochzeitsreise zu Dritt
1932: Im Bann des Eulenspiegels
1931: Mamsell Nitouche
1930/31: Die Försterchristl
1930/31: Der Tanzhusar
1930: Dolly macht Karriere
1930: Die Drei von der Tankstelle
1930: Ein Tango für Dich
1930: Die Firma heiratet
1929/30: Zwei Herzen im 3/4 Takt
1928: Liebe im Kuhstall
1926: Schenk mir das Leben (Die Tränen der Ungeborenen)
