노스캐롤라이나 주에서 어린 시절을 보냈고, 제2차 세계 대전에 참전했다. 이후 몇 년간 마이너 리그를 거쳐 메이저 리그 무대를 밟았다. 선수 시절 그의 주무기는 너클볼이었고, 덕분에 다른 선수들보다 비교적 선수로 오래 뛸 수 있었다. 가끔씩 선발로 나오기도 했지만 선수 경력 대부분을 계투로 뛰었고, 그가 거둔 통산 124번의 구원승은 지금도 메이저 리그 1위의 기록으로 남아 있다. 또한 그는 1000경기 출전과 200세이브를 처음으로 달성한 선수이다.
윌헬름은 20대 후반까지 메이저에 입성조차 못했지만, 이후 거의 50대에 이를 때까지 공을 던졌다. 은퇴 당시 역대 메이저 리그 선수 중 가장 낮은 통산 평균자책점을 기록한 선수 중 한 명으로 이름을 올렸다. 1970년대 초에 선수로서 은퇴한 뒤 뉴욕 양키스와 애틀란타 브레이브스 등지에서 오랜 기간 코치 생활을 했다. 이후 여러 해 플로리다주새러소타에서 살다 2002년 양로원에서 심부전으로 세상을 떠났다.
