Каријеру је започео у Мелбурн најтсима, а 1998. године наступао је за немачки Хамбургер. Две године касније сели се у Херту из Берлина, с којом је у девет година имао прилике играти у европским такмичењима. У сезони 2008/09. немачки спортски часопис Kicker прогласио га је најбољим одбрамбеним играчем лиге.[2]
Године 2006. продужио је уговор са Хертом до 2011. године. Вредност уговора процењена је на 10 милиона евра. Ипак, тај уговор није одрадио до краја те је дана 30. јуна 2009. године прешао у редове Хофенхајма.[3]
Дана 31. августа 2011. Шимунић је, незадовољан неиграњем у Хофенхајму, а након силних препирки између Динама и Хајдука,[4] са загребачким клубом потписао двогодишњи уговор.[5] 11. јануара 2013. године именован је за капитена тима, заменивши на тој позицији дотадашњег капитена Ивана Келаву.[6]
Дана 14. децембра 2014. доине, Шимунић је званично завршио професионалу каријеру.[7]
Репрезентативна каријера
На Светском првенству 2006. одиграо је све три утакмице. У последњој утакмици Хрватске на том првенству, у сусрету против Аустралије, зарадио је три жута картона те суспензију за следећа три сусрета. Наиме, енглески судија Грејем Пол грешком Шимунића није искључио након другог жутог картона, јер је код другог записао име аустралијског фудбалера Крејга Мура који је носио исти број као Шимунић. Тек након трећег жутог картона Пол је Шимунићу показао и искључујући црвени.[8]
ФИФА је 16. децембра 2013. пресудила 10 утакмица казне због извикивања "За дом", након доквалификацијске утакмице с Исландом за одлазак на Светско првенство у Бразилу 2014. године, те је с тиме и окончана његова репрезентативна каријера.[9] 2019. године одбијена је његова жалба суду у Стразбуру.[10]