據神樂院隱修士記述逃難到香港初期,建立修道院的工作歷盡艱辛,首先是局勢發展未明朗,香港會否落入中共之手仍屬未知之數,其次是修士在逃難過程中四散,跟隨李院長到達香港的只有十多位修士,還有建立修道院的土地及維持當前基本運作的資金,都是困擾神樂院的問題,幸好憑著李院長的信心,最後所有問題都能獲得解決。神樂院在大嶼山的現址,港府原計劃是用來興建麻瘋病院,經天主教教區的神父斡旋後,港督葛亮洪同意租借大嶼山大水坑約73英畝的土地供修士興建神樂院,只需向港府象徵式繳交印花稅港幣1元及每年繳租585港元,同時得到各方教友幫助,神樂院得以完成興建及維繫各項日常開支[3],1956年2月19日正式遷入大嶼山大水坑現址。神樂院在2000年把英文名改為(Our Lady of Joy Abbey)。