2001년에 발매된 두 번째 음반인 《Toxicity》는 캐나다와 미국 음반 차트 1위에 오르며 시스템 오브 어 다운을 대중적으로 크게 알렸다. 이 음반은 미국에서 3x 플래티넘을 인증받았으며, 전 세계적으로 1200만 장의 판매고를 올렸다. 얼마 후, 시스템 오브 어 다운의 미발표곡들이 인터넷을 통해 유출되었다. 밴드는 이 곡들의 최종 버전과 몇몇 새로운 곡들을 수록한 음반 《Steal This Album!》을 2002년 11월에 발표하였다.
2005년에는 《Mezmerize》와 《Hypnotize》를 각각 5월, 11월에 발매하였다. 《Mezmerize》는 미국과 캐나다, 오스트레일리아 등 많은 국가에서 차트 1위에 올랐다. 《Mezmerize》의 싱글 〈B.Y.O.B.〉는 그래미 상 "Best Hard Rock Performance"을 수상하였다. 이어 발표된 《Hypnotize》도 미국 음반 차트 1위에 올랐다.
2006년 5월, 시스템 오브 어 다운은 활동 중단을 발표하였으며, 마지막 공연은 2006년8월 13일플로리다주웨스트팜비치에서 열렸다. 보컬 세르이 탄키안은 솔로 활동을 시작하여 2007년 10월에 솔로 음반 《Elect the Dead》를 발매하였다. 다론 말라키안은 밴드 스카스 온 브로드웨이(Scars on Broadway)를 결성하였으며, 존 돌마얀도 말라키안의 밴드에 합류하였다. 말라키안은 시스템 오브 어 다운이 다시 재결합하지 않을 수도 있다고 밝혔다.[1] 2010년11월 29일 시스템 오브 어 다운이 2011년6월에 재결합 공연을 가질 것이라고 공식 발표했다.[2]
그리고 마침내 2011년 후반기에 그들은 성공적으로 독일 최대의 락 축제 락 엠 링에 헤드라이너로 공연하였다.
〈B.Y.O.B.(Bring Your Own Bomb)〉는 앨범이 발매되기 전에 스카이 프로리그2005 온게임넷 전기리그에서 오프닝곡으로 먼저 쓰여졌다. 음악계에서 앨범곡을 발매하기 전에 외부에 미리 공개하는 것은 이례적인 일인데, 스타리그를 평소에 즐겨보던 시스템 오브 어 다운이 위영광 온게임넷PD가 만든 프로리그 3라운드 오프닝을 보고 감동을 받아서 소니BMG코리아에 사정을 설명하고 위PD에게 간곡하게 요청을 했다고 한다.[3]