Da bambino ha assistito alle brutalità della guerra, salvandosi dalle macerie di una casa bombardata a Varsavia. Il padre, un membro della resistenza polacca, è stato giustiziato dai nazisti, mentre la madre nascose una famiglia ebrea in casa. Al college ha studiato etnografia, storia e letteratura. L'interesse di Skolimowski per il jazz e la sua amicizia con il compositore Krzysztof Komeda lo misero in contatto con l'attore Zbigniew Cybulski e i registi Andrzej Munk e Roman Polański.
Poco più che ventenne Skolimowski era già uno scrittore, pubblicando diversi libri di poesie e racconti. Presto Skolimowski incontrò Andrzej Wajda, il regista più importante della allora dominante scuola polacca, di dodici anni più grande di lui, con il quale strinse subito amicizia. Skolimowski si iscrisse alla scuola di cinema di Łódź, laureandosi in regia. Skolimowski ha poi collaborato con Polański, contribuendo ai dialoghi per Il coltello nell'acqua.
