1928년 피우수트스키 정권의 관영 정당인 정부협조 무당파 의원단의 조직을 주도하여 단장으로 있다가 1930년 3월 29일 카지미에시 바르텔 내각 해산 이후 그 뒤를 이어 총리로 취임했다. 스와베크는 피우수트스키의 대령단의 한 명으로서 전 정부와 마찬가지로 피우수트스키의 측근들과 함께 정부를 구성하였다. 동년 6월 30일 크라쿠프에서 열린 대규모 반정부 시위 이후 사임하였다가 논란의 여지가 있는 총선 승리 이후 12월에 다시 총리직에 복귀했다. 1931년 사임하여 독재 체제를 강화하는 폴란드 4월 헌법 작성에 참여하였고 1935년 3월 다시 폴란드 총리로 임명되었다.
1932년 5월 12일 유제프 피우수트스키의 사망 이후 스와베크는 스스로 폴란드의 새로운 지도자가 되고자 하였으나 이그나치 모시치츠키 대통령의 압박으로 10월 12일 사임하였고 곧 정부협조 무당파 의원단도 해산하였다. 이후 정치계에서 밀려나 소외되었다가 1939년 4월 2일 불분명한 이유로 바르샤바의 아파트에서 권총자살했다. 폴란드의 작가 Mieczysław Pruszyński의 책에 의하면 그는 1939년 맺어진 영국-폴란드 군사 동맹이 나치 독일의 폴란드 침공 명분이 될 것이라고 생각하여 자결을 택했을 것이라고 한다.
