1946년 투치족에서 태어난 바가자는 부룬디 군에서 복무했고 1966년 권력을 잡은 후 미셸 미콤베로의 통치 아래 계급에 올랐다. 1976년 무혈 쿠데타로 미콤베로를 폐위시키고, 민족진보연합(UPRONA)의 당수로서 정권을 잡았다. 1972년 대량학살에 참여했음에도 불구하고, 그는 국가를 현대화하고 국가의 다수 민족인 후투족에게 양보를 하는 다양한 개혁을 도입했다. 그의 정권은 1984년 통합되면서 특히 강력한 가톨릭 교회를 겨냥하여 점점 더 억압적이 되었다. 그의 통치는 1987년까지 지속되었는데, 그 때 그의 정권은 쿠데타로 전복되었고 그는 강제로 추방되었다. 1994년 부룬디로 돌아와 민족재생당(PARRENA)의 당수로서 국가 정치에 관여하게 되었다.
사망
2016년 5월 4일 벨기에브뤼셀에서 69세의 나이로 사망하였다.[2][3] 그의 유족으로는 아내 파우스타와 4명의 딸이 있었다.[1]