Rådet har sitt opphav i endringene i Den katolske kirkes syn på økumenikk som vant frem i Andre Vatikankonsil. Pave Johannes XXIII ønsket sterkt av kirken skulle bli mer aktiv i arbeidet for kristen enhet, og i 1960 opprettet han Sekretariatet for fremme av kristen enhet, med kardinal Augustin Bea som første president. Sekretariatets fremste oppgave var å invitere andre kirkesamfunn til å sende observatører til konsilet. Allerede under konsilets første sesjon i 1962 ble sekretariatet gitt samme status som konsilkommisjonene. Det fikk i oppgave å forberede dokumenter om økumenikk (Unitatis redintegratio), om ikke-kristne religioner (Nostra aetate), om religionsfrihet (Dignitatis humanae) og, sammen med doktrinekommisjonen, den dogmatiske konstitusjonen om guddommelig åpenbaring, Dei Verbum.
Etter konsilet bekreftet pave Paul VI sekretariatet som en permanent del av Den hellige stols administrasjon. Pave Johannes Paul II omdefinerte det i Pastor Bonus (1988) til et pavelig råd, og det ble dermed en del av kurien.