Pásztory Gyula matematika–fizika szakos gimnáziumi tanár és Petrovics Kornélia zongoratanárnő leányaként született. Somogyi Mórnál, a Budapesti Konzervatóriumban folytatta tanulmányait, 1922-től a Zeneakadémián Bartók Béla növendéke volt, majd 1923-ban Bartók felesége lett. Tanulmányait férje vezetésével fejezte be.
Első közös fellépésük a Szonáta két zongorára és ütőhangszerekrebázeli bemutatója volt 1938. január 16-án. 1938-tól további kétzongorás hangversenyeket adott Bartókkal Európában és az USA-ban.
1940-ben a náci diktatúra elleni tiltakozásul Bartókkal együtt hosszabb időre az Amerikai Egyesült Államokba utazott. Haza, Bartók halála miatt, már csak ő térhetett. A sok helyen megjelenő tévhittel szemben Pásztory Ditta nem volt zsidó származású – evangélikus és görög katolikus szülők gyermeke –, azonban Bartók humanizmusából fakadóan sorsközösséget vállaltak a nemzeti szocialista diktatúra által embertelen elbánásban részesülőkkel.
Hanglemezfelvételei készültek Bartókkal (a kétzongorás Szonáta, hét darab a Mikrokozmoszból); a Hungaroton Bartók-összkiadásában játszotta Bartók zongoraműveit, többek között a teljes Mikrokozmoszt és a Gyermekeknek sorozatot.
Bartók III. zongoraversenyét neki írta. Amikor férje halála után zongoraművészként a nyilvánosság elé lépett, szinte kizárólag Bartók-műveket játszott: hanglemezfelvételeken, hangversenyeken vállalkozott arra, hogy továbbadja Bartók műveinek előadási stílusából mindazt, amit elsajátítani tudott. Bartók tolmácsolásában olyasmit mutatott fel a művekben, amelynek csak fölismeréséhez is az ő tehetsége, elmélyedése, személyisége kellett.
Baranyi Anna–Büky Virág–F. Dózsa Katalin: Egy különleges életút tanúi. Bartókné Pásztory Ditta hagyatéka a Zenetörténeti Múzeumban / Witnesses of an extraordinary path of life. The legacy of Ditta Pásztory-Bartók at the Museum of Music History; szerk. Gombos László, angolra ford. Németh István Csaba; MTA BTK ZTI Zenetörténeti Múzeum, Budapest, 2017