1609년 9월에는 폴란드의 지그문트 3세 바사 국왕이 러시아를 침공하면서 스몰렌스크를 포위했다. 이를 계기로 모스크바에서는 바실리 4세에 대한 반감이 높아졌고 1610년7월 17일 바실리 4세는 모스크바에서 영향력을 행사하던 귀족들에 의해 폐위당하고 만다.
1611년 8월 자신의 형제들과 함께 폴란드 군대의 포로로 잡히면서 폴란드의 국왕에게 충성을 맹세했고 바르샤바 인근의 고스티닌(Gostynin) 성에 수감되었다. 1612년9월 12일 고스티닌 성에서 사망했으며 1635년러시아 차르국의 차르였던 미하일 1세의 요청에 따라 바실리 4세의 시신이 모스크바로 귀환했다. 그의 시신은 모스크바 크렘린의 성 대천사 대성당에 안치되었다.