Geboren in Lwów, damals Teil der Zweiten Polnischen Republik, erlernte Skrowaczewski als Kind Geige und Klavier. Im Alter von elf Jahren debütierte er als Pianist und machte sich schnell einen Namen. Mit dreizehn dirigierte er erstmals ein Orchester. Eine im Zweiten Weltkrieg erlittene Handverletzung beendete seine Pianistenkarriere.
Nach dem Krieg wurde Skrowaczewski 1946 Musikdirektor der Philharmonie Breslau. Dann folgten Chefposten in Warschau, Katowice und Krakau. Schließlich wurde er Chefdirigent des Warschauer Nationalorchesters. Nach seiner Ausbildung an der Musikakademie Krakau in Polen setzte Skrowaczewski seine Kompositionsstudien in Paris bei Nadia Boulanger fort.
Im Jahre 1956 gewann er den Santa-Cecilia-Wettbewerb für Dirigenten. Auf Einladung von George Szell dirigierte Skrowaczewski das renommierte Cleveland Orchestra. Gastdirigate bei anderen amerikanischen Orchestern wie etwa dem New York Philharmonic folgten. 1960 wurde er zum Musikdirektor des Minneapolis Symphony Orchestra ernannt. Dieses prägte Skrowaczewski maßgeblich bis zum Jahre 1979; als herausragend gilt seine Einspielung von RavelsBoléro aus dem Jahre 1975, die 2003 noch einmal in technisch überarbeiteter Version auf Super-Audio-CD veröffentlicht wurde. Seit dieser Zeit war er Ehrendirigent des Orchesters. Von 1984 bis 1991 war Skrowaczewski Chefdirigent des Hallé Orchestra. Als Gastdirigent erhielt er regelmäßig Einladungen nach Nord- und Südamerika, Australien, Japan und in zahlreiche Städte Europas.
Skrowaczewski, der bereits im Kindesalter mit dem Komponieren begonnen hatte, wurde für seine Komposition Passacaglia Immaginaria für den Pulitzerpreis im Jahre 1997 nominiert, ebenso wie für das von ihm komponierte Konzert für Orchester im Jahre 1999.[4][5] Für seine Arbeit als Musiker erhielt Skrowaczewski unter anderem die höchste polnische Auszeichnung, den Orden vom Weißen Adler und die Goldmedaille der Mahler-Bruckner-Gesellschaft.
Am 6. November 2015 wurde Skrowaczewski nach einem Konzert mit der Deutschen Radio Philharmonie in Saarbrücken zum Ehrendirigenten des Orchesters ernannt.[6]