Poté, co byli kartuziáni nuceni opustit svůj klášter v nedalekých Dolanech, zakoupili roku 1428 přímo v Olomouci dům s kaplí od Maříka z Radovesnic, zvaný podle bývalého majitele šternberský. Dům nestačil k životu celého společenství a po rozhodnutí pokračovat v řeholním životě uvnitř městských hradeb získali kartuziáni po několika směnách a koupích vhodný pozemek na Předhradí.
Městská rada souhlasila roku 1437 s výstavbou nového kláštera a svůj souhlas potvrdila roku 1443, kdy stavební práce již patrně pokročily. Ani přidělené území však kartuziánům zcela nestačilo a bylo nutné rozšířit se i za přiléhající hradby a náhradou postavit nový hradební úsek.
V 60. letech 15. století pokračovala patrně i stavba kostela Nanebevzetí Panny Marie a za jeho návštěvu jsou roce 1469 udělovány odpustky. Přeložená kartouza byla v Olomouci nazvána Domus Vallis Josephus. Shodou okolností vznikal na olomouckém Předhradí současně klášter augustiniánů vypuzených z Lanškrouna, který ještě za klidných poměrů uzavřel s dolanskou kartouzou konfraternitu.
Nedostatek prostředků prodlužoval stavbu a ještě roku 1514 osvobozuje král kartuziány od zemské berně pro chudobu a všeliké vydání na stavby klášterní. Z blíže neznámých důvodů požadoval řádový vizitátor roku 1590 tak jako v Brně odvolání olomouckého převora. Převor František z Bernkastlu poslal své mnichy roku 1617 k založení kartouzy ve Štípě. Dlouhodobé obléhání města Švédy za třicetileté války dolehlo i za zdi klauzury – jezuité si tehdy u kartuziánů schovali alespoň zbytek své knihovny.
Obnovené zřízení zemské pozvedlo převory mezi preláty a vracející se hospodářská prosperita po třicetileté válce postupně zlepšila i finanční situaci kartuziánů. Roku 1669 mohli koupit statek Doubravici a roku 1675 zahájili stavební obnovu svého kláštera, která vyvrcholila 3. listopadu 1690 vysvěcením přestavěného kostela se sedmi novými oltáři.
Na počátku následujícího století převor řádu přikoupil vesnice Lechovice, Pavlov a Radnice. Převor Wiedeman nechal postavit nový knihovní sál pro rozsáhlou sbírku rukopisů, prvotisků a knih a úpravy pokračovaly i za převora posledního, Antonína Skyby.
Dne 19. ledna 1782 byla kartouza zrušena, převor a šestnáct mnichů dům opustili, umělecké zařízení bylo rozvezeno, klášter přeměněn na vojenskou pekárnu. V letech 1839–46 vyrostla na jeho místě Špitálská kasárna.