그는 함부르크에서 태어났으며, 170cm의 작은 키에도 불구하고 점차 뛰어난 점프력과 타이밍으로 헤딩의 명수로 성장하였고 아울러 왼발, 오른 발을 자유자재로 구사하는 능력을 지니게 되었다.
젤러는 16세 때 독일 청소년 대표 선수가 되어 멋진 골을 연발하였고, 당시 서독 대표팀 감독인 제프 헤르베르거의 눈에 들어 1954년 17세의 나이로 국가대표 선수가 되었다. 그 뒤 잠시 대표팀에서 제외되었으나, 다시 대표팀으로 돌아와 1958년 FIFA 월드컵에 출전하였고, 아르헨티나와 첫 경기에서 첫골을 기록하는 등 5경기에서 3골을 넣으면서 서독의 떠오르는 스타가 되었다. FIFA 월드컵이 끝난 뒤 많은 명문팀들이 거액의 계약금을 제시하였지만, 자신의 고향 팀인 함부르거 SV를 선택하였다. 그 뒤 1962년 FIFA 월드컵에 출전하여 활약하였다.
그는 1965년 아킬레스건이 끊어지는 재기 불능의 부상을 당하였지만, 재활에 성공하여 1966년 FIFA 월드컵에서 프리츠 발터에 이어 대표팀 주장으로 참가하였고, 결정적인 순간에 멋진 슛을 날리며 팀을 결승까지 이끄는 데 중요한 역할을 하였다. 그 뒤 34세의 나이에도 불구하고 1970년 FIFA 월드컵에 연속 네 번째로 출전하였으나 우승과는 인연이 없었고, FIFA 월드컵 종료 후 '공로십자상'을 수상한 뒤 현역 생활에서 은퇴하였다. 은퇴 이후 1995년에 함부르크의 회장직을 2년 반 동안 역임하였다.
