Un dels clubs més històrics del futbol anglès, té els seus orígens en el Sheffield Wednesday Cricket Club, però no fou fins al 4 de setembre de 1867 quan es fundà el club de futbol. La secció de criquet desaparegué el 1925. S'uní a la Football League el 1892, vivint les dues següents dècades la seva millor època, on era conegut simplement com The Wednesday FC. La temporada 1902-03 guanyà la seva primera lliga anglesa. També destacà entre 1920 i 1930, amb jugadors com Jimmy Seed i Ernie Blenkinsop. Juga a l'estadi de Hillsborough des de 1899. Fins al 1914 l'estadi s'anomenava Owlerton Stadium. L'equip rep el sobrenom de the owls (els mussols).
El 15 d'abril de 1989 es visqué a l'estadi de Hillsborough una de les majors tragèdies que ha patit el futbol anglès. Noranta-sis seguidors van morir aixafats a l'estadi del club durant un partit de semifinals de la Copa anglesa que enfrontava el Liverpool FC i el Nottingham Forest.