Ostrowskis Vater war Kaufmann in Kiew. Alexander Ostrowski besuchte dort die Handelsschule, nahm aber daneben schon als 15-Jähriger am mathematischen Seminar der Universität Kiew unter Dmitri Alexandrowitsch Grawe gleichberechtigt teil und schrieb auch seine erste Veröffentlichung. Da er nur ein Diplom der Handelsschule hatte, konnte er trotz Grawes Fürsprache nur in Deutschland studieren, wo er von Kurt Hensel an der Universität Marburg 1912 als Student akzeptiert wurde. Während seiner Internierung im Ersten Weltkrieg konnte er auf Hensels Fürsprache weiter die Bibliothek benutzen und sich ganz auf die Mathematik konzentrieren.
Ostrowski hat auf vielen Gebieten der Mathematik wichtige Beiträge geliefert, besonders aber in der Analysis. 1920 bewies er, dass Dirichlet-Reihen, deren Koeffizienten sich nicht durch eine endliche Basis ausdrücken lassen, keiner algebraischen Differentialgleichung genügen, wobei er ein von Hilbert gestelltes Problem löste (Hilbert behandelte den Fall der Riemannschen Zetafunktion).
Zwei unterschiedliche, grundlegende Tatsachen aus der Bewertungstheorie beziehungsweise der Theorie der Beträge werden oft als Satz von Ostrowski bezeichnet:
Jeder Körper, der bezüglich eines archimedischen Betrages vollständig ist, ist algebraisch und topologisch isomorph zum Körper der reellen Zahlen oder zum Körper der komplexen Zahlen. Anders ausgedrückt: es gibt keine echte Körpererweiterung der komplexen Zahlen, auf die der komplexe Absolutbetrag fortgesetzt werden kann. Eine Verallgemeinerung dieses Satzes auf komplexe Banachalgebren ist der Satz von Gelfand-Mazur.
Ostrowski war federführend im Bereich der Numerischen Analysis und erbrachte viele akkurate Beweise für die Konvergenz verschiedener Verfahren. Zudem entwickelte er viele, auch heute noch in der Numerik verwendete, stabile Verfahren. Außerdem arbeitete er viel in der Numerik der linearen Algebra.
Der nach ihm benannte Ostrowski-Preis wird seit 1989 an herausragende Leistungen in der Mathematik vergeben.
