נרדי נולד בכ"ו בשבטתרס"א בקייב שבדרום-מערב האימפריה הרוסית (כיום באוקראינה) לרחל לבית ברגינסקי ואברהם נָרוֹדְיֶצקי, במשפחה חסידית של לומדי תורה בת שבעה ילדים. מגיל צעיר גילה כישרון מוזיקלי. בגיל שבע זכה לנגן בפסנתר משלו ומגיל 12 החל בליווי אמנים. זכה במלגה ללימוד בקונסרבטוריון של קייב וסיים לימודיו שם בהצטיינות ב-1915. חוקר הזמר העבריאליהו הכהן מספר כי נרדי זכה בסיום לימודיו בתחרות נגינה בפרס הראשון (במקום השני זכה ולדימיר הורוביץ).[1]
עקב פרעות פטליורה ב-1919 עזב לוורשה, שבה שהה שנתיים, ומשם עבר לווינה, ובה סיים את לימודיו באקדמיה למוזיקה ב-1922.
אחיו הצעיר, נוח, עלה ראשון ארצה עם קבוצת חלוצים בעלייה השלישית.
בשנת 1923עלה לארץ ישראל. הוריו עלו אף הם ארצה בעקבותיו.
לדברי הכהן, כאשר נרדי הגיע ארצה הוא התפרסם בתחילה כפסנתרן, אולם הבין שייעודו הוא הלחנה לאחר סיור מוצלח שערך עם הזמרת ברכה צפירה באירופה ב-1929, אשר כלל הופעה בוורשה. נרדי נחשף בארץ ישראל למלודיות מזרחיות ויצר לחנים ששילבו אלמנטים מזרחיים במוזיקה מערבית. הוא חיבר לחנים לשירים רבים שהיו פופולריים בתקופת היישוב. חלק גדול מלחניו היה למילותיו של חיים נחמן ביאליק. רבים מלחניו הולחנו או עובדו במיוחד למען הזמרת ברכה צפירה, שאיתה הִרבה להופיע בישראל ומחוצה לה, ואף נישא לה. בין שיריו הידועים נכללים "בין נהר פרת ונהר חידקל", "יש לי גן", "שתו העדרים", "שיר העבודה והמלאכה", "עלי גבעה",[2] "שיר העבודה" (כחול ים המים). נחום תמך כלכלית באחיו הצעיר, נוח, וסייע לו במימון לימודיו בסמינר למורים.
בשנת 1939 ליווה נרדי את שושנה דמארי בפסנתר עת קיימה דמארי את הקונצרט הראשון שלה כזמרת, בהיותה בת 16 בלבד. בספטמבר 1947 ייצג את היישוב בכנס עולמי למוזיקה ולפולקלור שהתקיים בפריז וניגן שם מיצירותיו. הוא הופיע גם בפני פליטים יהודים. בתחילת שנות ה-50 נישא לזמרת אהובה צדוק, ובשנת 1952 יצאו השניים למסע הופעות בארצות הברית שנמשך שנתיים.
נרדי היה נשוי ארבע פעמים. מנישואיו לברכה צפירה (בני הזוג היו נשואים בשנים 1931 - 1939) נולדה בתו, זמרת האופרהנעמה נרדי; מנישואיו לאהובה צדוק נולד הבן יאיר.