סרגיי גרסימוב נולד בכפר במחוז צ'ליאבינסק (לפי עדויות אחרות ביקטרינבורג או עיר אחרת באזור הרי אורל.
אביו היה מהנדס שהוגלה מסנקט פטרבורג בעקבות השתתפות בפעילות נגד המשטר. לאחר מספר שנים בסיביר המשפחה עברה לאזור הרי אורל. כאשר סרגיי הצעיר היה בן שלוש בלבד, אביו נהרג במהלך סיור גאולוגי באזור. ב-1915 סרגיי גרסימוב החל ללמוד בבית הספר ביקטרינבורג.
בשנים 1923-1925 למד בבית הספר לציור בלנינגרד. לאחר סיומו גרסימוב למד משחק. בשנת 1925 הוא הצטלם בפעם הראשונה בסרט. בשנות ה-20 גרסימוב הצטלם בעיקר בסרטי גריגורי קוזינצב.
ב-1930, ביים גרסימוב את סרטו הראשון. הצלחתו הראשונה כבמאי הייתה ב-1936 עת הופץ סרטו "שבעת האמיצים" (Семеро смелых). בסרט זה הוא שיתף את תלמידיו ואשתו תמרה מקרובה. עבור סרטו "המורה" שצולם ב-1939, גרסימוב קיבל פרס סטלין בשנת 1941.
ב-1941 כתב גרסימוב את התסריט, ביים ושיחק בסרט "נשף מסכות" על פי מיכאיל לרמונטוב.
ב-1944, הגיעו גרסימוב ואשתו למוסקבה והוא חזר ללמד ב-VGIK. רוב תלמידיו מאותה תקופה שותפו בסרט "המשמרת הצעירה" (1948) על פי ספרו של אלכסנדר פדייב. על עבודה זו הוענק לו פרס סטלין בפעם השנייה.
ב-1950, ביים גרסימוב סרט תיעודי "סין המשוחררת" ביחד עם אנשי קולנוע סיניים. על סרט זה הוא קיבל את פרס ברית המועצות בפעם השלישית.
בסוף שנות ה-50, עבד גרסימוב על הסרט "הדון השקט" על פי ספרו של מיכאיל שולוחוב בשם זה. גם לסרט זה כתב גרסימוב את התסריט. הסרט צולם ב-3 פרקים וקיבל עיטורים במספר פסטיבלים בינלאומיים.