Lennon afirmou que a letra da canção fala sobre si mesmo. Ele a escreveu depois de torturar seu cérebro desesperadamente por cinco horas, tentando chegar a mais uma música para Rubber Soul. Lennon declarou à revista Playboy:
"Naquela manhã, passei cinco horas tentando escrever uma canção que fosse significativa e boa e, finalmente, desisti e fui deitar. Então veio 'Nowhere Man', as palavras e a música, a coisa toda como eu imaginava".[3]
McCartney comentou sobre a canção:
"Isso foi John depois de uma noite, com o amanhecer chegando. Acho que nesse ponto, ele estava um pouco... querendo saber para onde estava indo, e para ser sincero, eu também estava começando a me preocupar com ele".[4]
