1918 року в Москві був арештований більшовиками за участь у монархічному заколоті та засуджений до розстрілу, але після чотирьох місяців ув'язнення у Таганській та Бутирській в'язницях вийшов на свободу і в тому ж році залишив межі більшовицької Росії, переїхавши в Польщу[10]. 1920 року разом із другою дружиною та сином-немовлям Миколою емігрував в Сполучені Штати[13]. Відтоді питання повернення в СРСР або в Україну не стояло.
В Сполучених Штатах
Пройшов художнє навчання в Студентській художній лізі в місті Нью-Йорк. Користувався порадами художника Джона Слоана, представника школи «Кошик для сміття».
1925 р. перебрався в Балтимор із своєю третьою дружиною, художницею Елінор Гібсон. Митець одружився вчетверте, пошлюбившись із Патрісією Томпсон.
1927 р. натуралізувався у США, де обрав нове офіційне ім'я Джон Д. Грехем. В Балтиморі митець приєднався до товариства місцевих модерністів та брав участь в виставці разом із ними. Окрім творчості займався колекціонуванням та виступав як імпресаріо. Так, 1942 року брав участь в створенні групової виставки в галереї Мак-Міллана (Нью-Йорк), де поряд з творами Пабло Пікассо, Анрі Матісса, Амедео Модільяні були представлені твори багатьох художників-абстракціоністів Сполучених Штатів (Лі Краснер, Джексон Поллок та ін.) В самому Нью-Йорку митець виступав з публічними лекціями про тогочасне мистецтво та місце в ньому модернізму і абстракціонізму.
Джон Д. Грехем, Ганс Гофман, Пол Кадмус, Стюарт Девіс, Антон Рефреж'є утворювали групу митців, що залишилась на позиціях реалізму та «фігуративного живопису» (з різними домішками модернізму) в десятиліття, коли в мистецтві Сполучених Штатів панівні позиції захопив абстрактний експресіонізм.
Автор неймовірно впливової в свій час книги Система і Діалектика Мистецтва (1937)[14], що на багато років вперед визначила, й визначає до цього дня, основні напрями західної митецької думки.
Родини
Був неодноразово одружений. Дружина Патрісія Томпсон вдовою зберігала картини митця та передала частку з них в Музей сучасного мистецтва в Нью-Йорку.