Greer studiował na Marshall University. Do NBA został wybrany w drafcie 1958 przez Syracuse Nationals. W organizacji tej, od 1963 działającej jako Philadelphia 76ers, spędził całą karierę (1958-1973). W 1967 poprowadził swój zespół (z Wiltem Chamberlainem w składzie) do mistrzostwa, przerywając tym samym długoletnią dominację Boston Celtics (8 tytułów z rzędu).