De 1902 à 1906 il enseigne le piano au Conservatoire de Moscou. À partir de 1906 il se consacre à des tournées de concerts en Europe et aux États-Unis. Il est à Berlin lorsque survient la Première Guerre mondiale. Il y est fait prisonnier en raison de sa nationalité. Après sa libération il s'installe aux États-Unis. Il y enseigne dès 1922 à la prestigieuse Juilliard School.
En 1898 il avait épousé Rosina Bessie, qui étudiait également au Conservatoire de Moscou. À la suite de ce mariage, elle renonça à une carrière de soliste et se consacra à l'enseignement.
Il n'a laissé qu'une poignée d'enregistrements acoustiques qui sont des exemples à couper le souffle de la technique parfaite et de l'élégance musicale. Les disques de Chopin (Études op. 25 n ° 6 et 11) et de la transcription par Schulz-Evler de la valse Le Beau Danube bleu de Johann Strauss II sont légendaires parmi les pianistes et les amateurs. Son interprétation des Papillons op. 2 de Schumann, est considérée comme une référence. Lhévinne a enregistré un certain nombre de rouleaux de piano dans les années 1920 pour Ampico, une collection qui a été superbement enregistrée et a été rééditée par le label Argo en 1966.
