Krylow studierte am Bergbauinstitut in Sankt Petersburg (Abschluss 1902) und war dort ab 1912 Professor, bevor er 1917 als Professor an die Krim-Universität in Simferopol ging. Ab 1922 war er Leiter der Abteilung Mathematische Physik der damals neu gegründeten Ukrainischen Akademie der Wissenschaften in Kiew.
Seine gesammelten Werke erschienen 1961 in drei Bänden in Kiew.
Es gibt noch einen weiteren russischen numerischen Mathematiker namens Krylow, der nicht mit ihm verwechselt werden sollte, Wladimir J. Krylow, der Mitautor mit L. Kantorowitsch des bekannten Lehrbuchs Näherungsmethoden der höheren Analysis (Berlin 1956). Außerdem gibt es noch einen Mathematiker Nikolai Wladimirowitsch Krylow.