Pavloviċ doorliep de jeugdopleiding bij Dinamo Zagreb en NK Zagreb. Bij die laatste club debuteerde de verdediger ook in het professionele voetbal. Op 9 november 2008 werd er namelijk met 4-0 verloren van Hajduk Split en Pavloviċ speelde voor het eerst mee. Hij speelde in de seizoenen die volgden vaak in de basis bij NK Zagreb en hij leek bij veel clubs onder interesse te staan, zoals Bayern München, Werder Bremen, VfB Stuttgart en Zenit Sint-Petersburg.[1] Op 17 december 2012 maakte Pavloviċ dan toch de overstap naar Werder Bremen, waar hij tot medio 2016 tekende.[2] De Duitsers leenden hem vervolgens uit aan Ferencváros uit Hongarije. Het jaar daarna kwam hij weer terug bij Werder Bremen, maar een maand na zijn terugkeer werd hij nog een keer uitgeleend aan de Hongaarse ploeg.
In 2016 vertrok hij transfervrij uit Bremen en hij tekende voor twee jaar bij Angers.[3] Na zijn eerste seizoen werd deze verbintenis met twee seizoenen verlengd tot medio 2020.[4] Na het aflopen van zijn contract in de zomer van 2021 werd Pavlović transfervrij aangetrokken door Amiens.[5] Een jaar later keerde hij terug naar Kroatië, waar hij voor HNK Rijeka ging spelen.[6] In januari 2023 haalde Saint-Étienne hem op huurbasis terug naar Frankrijk.[7] Voor Saint-Étienne kwam hij niet in actie en in september 2023 huurde NK Rudeš hem tot het einde van het seizoen.[8]