Piłkarską karierę Ole Madsen rozpoczął w klubie BK Stefan w 1954. W latach 1958–1965 był zawodnikiem Hellerup IK. Będąc zawodnikiem Hellerup Madsen w 1964 został uznany Piłkarzem Roku w Danii. W 1965 przeszedł do holenderskiejSparty Rotterdam. Przez 3 lata rozegrał w lidze holenderskiej 71 meczów, w których zdobył 22 bramki. W 1968 powrócił do Hellerup, w którym w 1970 zakończył karierę.
Kariera reprezentacyjna
W reprezentacji Danii Madsen zadebiutował 15 października1958 w przegranym 1-5 towarzyskim meczu z Holandią. W 1964 wystąpił w Pucharze Narodów Europy. Dania zajęła ostatnie, czwarte miejsce a Madsen wystąpił w obu jej meczach z ZSRR i Węgrami. Wcześniej w eliminacyjnych meczach ćwierćfinałowych z Luksemburgiem Madsen zdobył w nich wszystkie 6 bramek dla Danii, dzięki czemu awansowała do turnieju finałowego. Ostatni raz w reprezentacji wystąpił 21 września1969 w przegranym 0-2 meczu o Puchar Nordycki z Norwegią. Od 1958 do 1969 roku rozegrał w kadrze narodowej 50 meczów, w których strzelił 42 bramki.
