2004년 봄의 제17대 총선에서 당시 현역 의원이었던 박종웅이 한나라당 공천을 받지 못한 것에 항의하여 무소속으로 출마하여 야당 표가 분산된데 힘입어 부산 유일의 열린우리당 당선자가 되었으며, 2008년의 제18대 총선에서는 한나라당 후보와의 맞대결 속에서도 통합민주당 간판으로 재선에 성공하면서 지역주의 타파의 씨앗이 되었다는 평가를 받았다.
2012년 제19대 총선에서는 부산 부시장 출신인 새누리당의 안준태 후보를 누르고 3선에 성공하였다. 새누리당 계열의 강세 지역인 부산에서 3선에 성공한 것은 부산 도시철도 1호선의 다대포 연장을 초선 의원 시절 유치하는 등의 가시적 업적이 많다는 의견이 지배적이다. 조 국회의원이 유치한 1호선 다대포 구간은 2009년에 착공하여 2017년에 완공했다.
2010년 3월에는 정치자금법 위반으로 검찰에 기소되어 항소심까지 공민권 박탈형을 선고받은 김민석이 부산광역시장 경선 출마를 선언하자 김민석이 지역구 활동을 한 번도 하지 않은 것을 비판하면서 김정길 전 대한체육회장의 단수공천 의지를 천명했다.
2014년 새정치민주연합의 최고위원이었으나, 2015년 문재인 대표에 대한 강도 높은 비판을 이어가면서 결국 혁신위에 의해 징계처리를 받았다. 결국 2015년 12월 5일을 기하여 새정치민주연합 당원 자격 정지 처분을 받은 조 국회의원은 탈당한 19명의 의원들에 이어 마침내 2016년 1월 19일 새정치민주연합을 탈당했다.
새누리당과 국민의당은 조 국회의원에게 입당을 제안하였고,[2] 2016년 1월 21일에 조 국회의원은 16년만에 새누리당에 복당하였다.[3][4] 이후 제20대 국회의원 선거에서 새누리당 후보로 사하구 을 선거구에 출마해 당선되면서 4선 고지에 올랐다.
2020년 제21대 국회의원 선거에서 미래통합당의 공천을 받아 사하구 을 선거구에 다시 출마했으며 당선되면서 5선 국회의원이 되었다.
2024년 제22대 국회의원 선거에서 국민의힘의 공천을 받아 사하구 을 선거구에 출마를 하였다. 선거 결과 55.62%의 득표율로 당선되면서 6선 국회의원이 되었다.
