오늘날의 러시아제국 프스코프주에서 지주의 아들로 태어났다. 어려서 피아노를 공부했으나 사관학교에 지원(당시 러시아는 음악원이 없었다), 1856년 사관학교를 졸업하고 군인이 되었다. 그러나 곧 군대 생활을 청산하고 농노 해방으로 집안이 몰락하자 독학으로 작곡을 공부한 뒤 창작에 몰두하였다. 미하일 글린카의 뒤를 이어 러시아의 국민 음악 운동을 추진하였다. 그는 작곡가로서 지식은 빈약하였으나, 타고난 음악적 재능으로 좋은 작곡을 하여, 프랑스 인상파 등 현대의 음악가들에게 영향을 주었다
그의 가장 유명한 작품으로는 《민둥산의 하룻밤》으로 더 널리 알려진 교향시 《성 요한의 민둥산의 하룻밤》, 그의 친구인 건축가 빅토르 하르트만을 기리기 위해 쓴 피아노, 관현악 모음곡 《전람회의 그림》이 있다. 전람회의 그림은 후에 쓰여진 모리스 라벨의 관현악 편곡이 유명하다. 무소륵스키의 오페라 《보리스 고두노프》, 《호반시나》, (소로친스크의 시장) 가 있다
