Отец — скрипичный дел мастер, мать (английского происхождения) — скрипачка. Поступая в Варшавскую консерваторию, не был принят как пианист, но был зачислен в класс ударных, однако вскоре сосредоточился на дирижировании и композиции, занимаясь, в частности, под руководством Казимежа Сикорского. Затем в 1937—1938 гг. учился в Вене у Феликса Вайнгартнера, несколько месяцев занимался частным образом в Париже (в том числе у Филиппа Гобера). Во второй половине 1930-х гг. ряд ранних композиций Пануфника был исполнен в Варшаве — в частности, фортепианное трио № 1, впервые прозвучавшее 10 декабря 1936 года в исполнении Мечислава Вайнберга (фортепиано), скрипача Станислава Яжембского (сына профессора консерватории Юзефа Яжембского) и виолончелиста Ицхака Бакмана (1917—1942, в некоторых источниках ошибочно Иосиф)[4]. В годы войны играл в варшавских кафе дуэтом с Витольдом Лютославским, покинув Варшаву незадолго до Варшавского восстания. Его рукописи и ряд ранних сочинений были пущены на растопку новыми жильцами его квартиры, позднее композитор восстановил по памяти только фортепианное трио.
После войны жил и работал в Кракове, был дирижёром Краковского филармонического оркестра, писал музыку для кинофильмов. В 1946—1947 гг. музыкальный руководитель Варшавского филармонического оркестра, практически уничтоженного войной (вышел в отставку, не видя достаточной поддержки со стороны государственного руководства), затем заместитель председателя Союза композиторов Польши. Выступал также как приглашённый дирижёр Берлинского филармонического оркестра, гастролировал в СССР и Китае. Музыка Пануфника исполнялась в Польше и особенно польскими коллективами в ходе зарубежных гастролей, однако подвергалась критике за «формализм» и недостаточно идейный характер.
В 1954 г. принял решение эмигрировать и во время гастролей в Швейцарии бежал из-под наблюдения сотрудников польских органов безопасности, найдя возможность перебраться в Великобританию, где уже находилась его жена, выехавшая к своим британским родственникам. В 1957—1959 гг. возглавлял Симфонический оркестр Бирмингема. После 1963 г. занимался по преимуществу сочинением музыки. Многолетнее сотрудничество связывало Пануфника с Леопольдом Стоковским, дирижировавшим рядом его сочинений; скрипичный концерт Пануфника был написан для Иегуди Менухина, а виолончельный — для Мстислава Ростроповича.