На початку 20 століття Гарлем перетворився на «чорне гето». Масова міграція чорношкірого населення відбувалася за участі Афро-Американської рієлторської компанії. Однією з причин переселення були антиафроамериканські заворушення на початку 1900-их років.
В 1930-ті роки Гарлем став центром індустрії розваг, але після війни почав швидко занепадати й незабаром перетворився на бідний район із високою злочинністю, низьким рівнем життя, поганими соціальними службами. Проте небажання власників житла в інших районах міста здавати квартири чорному населенню призвело до того, що квартирна плата в Гарлемі почала перевищувати середню в місті. Ті ж причини зумовили перенаселення, брак шкіл і лікарень, високу дитячу смертність.
Врешті-решт у 70-80-их роках 20 століття погані умови життя змусили мешканців переселятися деінде й густота населення в Гарлемі різко зменшилася. Від багатьох будинків залишилися самі стіни. З кінця 1990-их ціни на нерухомість знову підвищилися, скуповуються старі розвалені будинки, зростає кількість новобудов. Серед причин цього явища називають те, що великий капітал скупив уже майже все на Мангеттені й шукає іншого розміщення грошей.