ב-6 במאי1884 היה למפקד רגימנט משמרות ההוסארים, גדודי עלית בחיל הפרשים הרוסי. ב-10 בנובמבר1890 היה למפקד החטיבה השנייה של דיוויזיית משמרות הפרשים ה-2. ב-6 במאי 1895 מונה למפקד הכללי של חיל הפרשים (תפקיד שמילא עד ה-8 ביוני1905).
מ-1905 עד יולי 1908 היה יו"ר מועצת ההגנה הממלכתית (Совет Государственной Обороны). בתפקידו כיו"ר מועצת ההגנה ניסה כל הזמן התערב בעבודתם של שרי הצבא והצי.
ב-26 באוקטובר1905 - במקביל לתפקידו כיו"ר מועצת ההגנה, הוא התמנה למפקד כוחות הגווארדיה הרוסית והיה למפקד המחוז הצבאי של סנקט פטרבורג.
מלחמת העולם הראשונה
ניקולאי ניקולאייביץ' עם ניקולאי השני לאחר כיבוש מבצר פשמישל, 11 באפריל 1915
”
ויש לנו עוד חובה לאומית לנקום את נקמת דמי היהודים ממי שהיה נסיך גדול ניקולי ניקוליביץ. עוד לא נאסף כל החומר בדבר כל המעשים שעשה התלין הזה לעם ישראל במשך שתי השנים האחרונות. אבל רוב מעשי הרצח נעשו למראית עין באופן ליגאלי, על-פי משפט הצבא ועל-פי משפט שדה-קטל. אבל היו כמה מקרים שעשה מעשי רצח סתם - אף על פי שקרא להם מעשי בית-דין... עתה זכינו לכך שאפשר למסור לדין את התלין הזה... ינקם נא במקצת דמנו השפוך
באוקטובר 1914 הוענק לו עיטור גאורגי הקדוש מדרגה שלישית על פועלו לחידוש וחימוש הצבא הרוסי. ב-1915 שוב הוענק לו העיטור, הפעם מדרגה שנייה, זאת בשל חלקו בכיבוש מבצר פשמישל. בקיץ 1915 לאור הכשלונות בחזית הלחימה ואי-יכולת לשנות את המצב, הוחלף על ידי ניקולאי השני.
בתפקודו במהלך המלחמה נודע כמפקד עקשן ששאף לניצחונות ולא נרתע מאימת צבאות האויב. יחד עם זאת, בקיץ 1915 קרסה החזית הרוסית במערב והוא לא ידע להתמודד עם המצב. הוא ניסה להסביר את כישלונות הצבא בשדה הקרב בנוכחות מרגלים רבים, והדבר גרם לפוגרום אנטי-גרמני במוסקבה ולחיפוש נואש אחר מרגלים בצבא ובממשל.
נציב מלכות המשנה הקווקזית
לאחר סיום תפקידו בצבא ניקולאי נסע לטיפליס יחד עם ניקולאי יאנושקביץ', גנרל שהיה ראש המטה של המפקד העליון של צבא רוסיה הקיסרית והועזב יחד עם ניקולאי ניקולאייביץ'.
בעת שירותו בקווקז הוא הוביל את הצבא הרוסי לניצחונות בחזית הקווקזית, לכן כאשר גדלה התסיסה החברתית ברוסיה, התאספו כמה בכירי ממשל בדצמבר 1916סנקט פטרבורג בראשות הנסיך גאורגי לבוב שהחליט להציע את תפקיד הצאר לניקולאי ניקולאייביץ' הבן, תמורת התפטרותו של ניקולאי השני. ההצעה הגיעה לידי ניקולאי ניקולאייביץ' ב-1 בינואר1917 שביקש להרהר זמן-מה, אך לבסוף החליט לסרב.
ניקולאי נסע לקרים, שם התגורר אצל אחיו פיוטר ניקולאייביץ' בכל תקופת מהפכת אוקטובר וכיבוש חצי האי קרים בידי הגרמנים ב-1918. ב-1919, כאשר הגיעו כוחות הצבא האדום לחצי האי קרים, החליט לעזוב את אדמת רוסיה, יחד עם מריה פיודורובנה ובני משפחת הצאר ששהו בחצי האי קרים.
חייו בגלות ומותו
באפריל 1919 הוא עבר להתגורר באיטליה ומאז 1922 - בצרפת. הוא חי תחת השם בוריסוב בווילה "טנאר" באנטיב, שם חי עם אחיו הצעיר, הדוכס הגדול פיוטר ניקולאייביץ'. מיולי 1923 חי באחוזה ליד פריז. ב-16 בנובמבר1924 הסכים לשמש כראש של ארגון צבאי רוסי בגלות - האיחוד הצבאי הכלל רוסי (Русский общевоинский союз).
בקרב ההגירה הלבנה ניקולאי ניקולאייביץ' נחשב ליורש הצאר, כבכור שושלת רומנוב, למרות שהוא עצמו לא הכיר בזכויותיו. כאשר נשלח אליו מכתב מיוחד מטעם הדוכס הגדול קיריל ולדימירוביץ' שהכריז על עצמו כקיסר רוסיה כולה, הוא דחה בתוקף את טענותיו של קיריל ולדימירוביץ' בדבר הכרתו והוסיף כי שאלת המלוכנות ניתן לפתרון רק על ידי "העם הרוסי במולדתו". משערים שדבר בין היתר תרם לכך שלגולה הרוסית לא היה מנהיג מוסכם.
בעקבות התדרדרות במצבו הבריאותי, באוקטובר 1928 הוא עבר לאנטיב, שם שכר שוב את הווילה "טנבאר", שבה התגורר בעבר. הוא נפטר ב-5 בינואר1929 מדום לב. גופתו נישאה על ידי קציני אבטחת הוד מעלת הקיסר (שירות האבטחה הרוסי בגרסתו המוקדמת) וקצינים של משמרות הקוזאקים.
טקס הלוויה נערך בקאן בכנסיית המלאך מיכאל בנוכחות גורמי צבא צרפת בכירים. סמוך לקברו הוצב משמר כבוד שהורכב מקציני הצבא הרוסי. הוא נקבר בקריפטה של הכנסייה וכעבור מספר שנים נקברה רעייתו לצדו. באפריל 2015 שרידיו הועברו לרוסיה והוא נקבר עם רעייתו מחדש במוסקבה, בפארק הזיכרון לגיבורי מלחמת העולם הראשונה.
