Najstarsza wzmianka o kościele w Rywałdzie pochodzi z 1319 roku. Obecna świątynia, czwarta z kolei wybudowana w tym miejscu, pochodzi z XVIII wieku i była poddawana licznym modyfikacjom architektonicznym. Obiektem szczególnego kultu jest drewniana figura Matki Bożej Rywałdzkiej, datowana na przełom XIV i XV wieku. Figura, zwana też Matką Bożą Cyganów, została 3 września 1972 roku koronowana przez kardynała Stefana Wyszyńskiego[1].
Zespół klasztorny składa się z jednonawowego kościoła z lat 1689–1733 i murowanego klasztoru z roku 1748. Całość otoczona jest murem z XVIII/XIX w. Prezbiterium kościoła kryte sklepieniem konchowym na gutrach, a nawa – sklepieniem kolebkowym. Wewnątrz wystrój późnobarokowy i rokokowo-klasycystyczny (2 poł. XVIII w.).