רוזנברג נולד וגדל במאלמה. בצעירותו שיחק בקבוצות הנוער של המועדון העירוני המפורסם. בשנת 2001 ערך את הופעת הבכורה במדי הקבוצה הבוגרת, במשחק מחצית מול יפלה במסגרת הגביע השוודי. רוזנברג שיחק במאלמה במשך ארבע עונות, בהן השתתף ב-52 משחקים והבקיע 19 שערים. בעונת 2004/2005 מיעט לשחק במדי קבוצתו, ובסופה הושאל להאלמסטד לעונה אחת. בהאלמסטד הוא הציג יכולת מרשימה, ובחלון ההעברות בחודש ינואר עבר למועדון הכדורגל אייאקס אמסטרדם.
רוזנברג הפך לאהוד בקרב האוהדים והעיתונאים ברחבי שוודיה, הולנד ושאר אירופה. בעונתו הראשונה באייאקס זומן לראשונה לסגל הבוגר של נבחרת שוודיה. באייאקס כבש 12 שערים, במהלך 40 הופעות במדי המועדון. במשך תקופתו באייאקס זכתה הקבוצה פעמיים בגביע ההולנדי.
