Выпущенная в апреле 1966 года, как сингл, песня стала дебютом Нила, как музыканта (ранее он уже имел некоторый успех, как автор песен для других исполнителей). В июле песня достигла 55[2] строчки в чарте Billboard Hot 100, и в августе была включена в дебютный альбом Даймонда «The Feel of Neil Diamond».
Песня была переиздана в 1970 году и заняла уже 21 строчку в американском чарте. На некоторых концертных альбомах, например, «Gold: Recorded Live at the Troubadour» или «Hot August Night», Нил изменил оригинальный текст с «then Sue came along» на «then you came along». В одном из интервью 2000-х годов он признался, что эта песня о нём самом.
В 2005 году в журнале Rolling Stone, Дэн Эпштейн пишет: «„Solitary Man“ остаётся наиболее яркой песней в коллекции Даймондa. В этом гимне горя и самоутверждения, длиной в две с половиной минуты нет ни слова, ни аккорда, потраченого впустую»[3]. Сочетание динамичной мелодии с меланхоличным текстом сделало песню привлекательной мишенью для последующих интерпретаций.
Джонни Кэш исполнил «Solitary Man», как заглавную песню своего альбома American III: Solitary Man в 2000 году. Запись получила премию Грэмми в номинации «лучший мужской вокал в стиле кантри». Запись была также использована в начале фильма «Solitary Man» (в русском переводе — «Сексоголик») (2009) с Майклом Дугласом в главной роли.
Существует и более редкая версия песни в исполнении HIM и Винсента Марджеры, более известного под именем Дон Вито. Она была записана на одном из эфиров станции Radio Bam.
Первый кавер под названием «Se perdo anche te» (английский вариант — «If I lose you too») был записан Джанни Моранди в 1966 году. На итальянский язык песню перевёл Франко Мильяцци, продюсер Моранди в то время.
Гаражная рок-группа «The Kitchen Cinq» записала свою кавер-версию песни в 1967 году, с музыкальным размером 3/4. Песня вошла в дебютный альбом группы «Everything But».
Эннио Морриконе записал собственную аранжировку версии Моранди в качестве би-сайда к синглу «C’era un ragazzo che come me amava i Beatles e i Rolling Stones» (английский вариант — «There was a boy who, like me, loved the Beatles and the Rolling Stones»), изданного в качестве протеста против войны во Вьетнаме.
Первый кавер на песню в жанре кантри был записан Т. Дж. Шеппардом в 1976 году. Его версия заняла 14 место в чарте Hot Country Songs.
Свою версию песни записал Крис Айзек на своём альбоме 1993 года «San Francisco Days». Вышел также видеоклип режиссёра Ларри Кларка.
Регги-версию записала группа Skin, Flesh and Bones в 2000 году. Песня вышла на трёх-дисковом сборнике «Trojan Club Reggae».
Версию в жанре инди-рок записала группа Crooked Fingers в 2002 году на мини-альбоме «Reservoir Songs», состоящим всего из 5 песен — каверов.