בשנת 1152 נבחר פרידריך לקיסרהאימפריה הרומית הקדושה, ובעקבות כך מסר את הדוכסות לקרוב משפחתו פרידריך, דוכס פרנקוניה. פרידריך ברברוסה רצה להשיב ולשמר את עצמתה ותהילתה של האימפריה כפי שהיא הייתה בימיו של קרל הגדול ואוטו הראשון הגדול הוא העריך שהדרך לכך היא שמירה על סדר קפדני בגרמניה עצמה, ועמידה על הזכויות האימפריאליות באיטליה. זכויות אלו כללו בין היתר השפעה רחבה של המלך על מינויים למשרות כנסייתיות, זכויות שקופחו במיוחד במאורע ההליכה לקנוסה של המלך היינריך הרביעי. כמו כן נסוב העימות בין המלך לאפיפיור באשר לזכויותיהן של ערי הצפון, שצברו לעצמן זכויות ולמעשה הפכו לעצמאיות. גם כוחה של האימפריה בדרום איטליה ובסיציליה נחלש מאוד.
בגרמניה ובאיטליה קמו מחנות תומכים למלך מזה ובאפיפיור מזה. אנשי בית שטאופן ותומכיהם, שנקראו באיטליה גיבלינים, תמכו בזכויות המלך וטענו שאינו צריך אישור של האפיפיור לסמכותו הריבונית. ומנגד בית ולף (welf) שנקראו באיטלקית גואלפים, טענו שהמלך שולט בחסות האפיפיור ותחת סמכותו הדתית. פרידריך ברברוסה היה נדיב מאוד במתן חופש פעולה לאצילים כדי לשמור על שקט פוליטי, ובכך גם לרכוש את אהדתם ותמיכתם בתוכניותיו.
פרידריך יצא בראש צבא גדול מצויד היטב כדי לכפות את סמכותו על ערי איטליה הצפונית ובראשן מילאנו שהתאגדו בברית שנקראה "הברית הלומברדית", ולהוכיח את עדיפות כוחו על זה של האפיפיור אלכסנדר השלישי. האפיפיור תמך בכל דרך אפשרית בערי הצפון, בנשק ובאנשים, הטיל חרם על פרידריך והפעיל את גורמי האופוזיציה העוינת את פרידריך מתוך גרמניה. במפגש המכריע, קרב ליניאנו(אנ') בשנת 1176 נחל פרידריך תבוסה וצבאו ניגף לפני צבא איכרים לא מתוחכם. עם שליטי ממלכת סיציליה הנורמנית בדרום איטליה שהיו נאמני האפיפיור, הגיע להסכם.
בנוסף עמד פרידריך השני בראש מסע הצלב השישי בשנת 1228, מסע צלב ללא קרבות, שבו חזרה ירושלים לשלטון הצלבנים בתום משא ומתן עם הסולטאן המצרי. בשנת 1216 מסר פרידריך את דוכסות שוואביה לבנו היינריך השביעי, אולם לאחר שהלה מרד בו, החרים פרידריך בשנת 1235 את כל נחלותיו של היינריך, ומסר אותם לבנו השני קונראד הרביעי, מלך גרמניה.
