המונח "אי-הזדהות" נטבע על ידי ראש ממשלת הודוג'ווהרלל נהרו במהלך נאום שנשא ב-1954 בקולומבו שבסרי לנקה. בנאום זה תיאר נהרו את "חמשת העמודים" (פּאנְצְ'שִיל) עליהם יש לבסס את היחסים בין סין להודו. חמישה עקרונות אלו הפכו מאוחר יותר לבסיס ארגון המדינות הבלתי-מזדהות, ואלו הם:
כבוד לשלמות הטריטוריאלית (של המדינה האחרת)
אי-התקפה הדדית
אי-התערבות בעניינים פנימיים
שוויון ותועלת הדדית
דו-קיום בשלום
תחילתו של ארגון המדינות הבלתי-מזדהות בוועידה שהתקיימה ב-1955 בבאנדונג שבאינדונזיה, שקיבלה את הכינוי ועידת באנדונג, שבה הצהירו המדינות המשתתפות על רצונן שלא להזדהות עם אף אחד מן הצדדים בעימות האידאולוגי שבבסיס המלחמה הקרה. ועידת באנדונג היא אבן דרך חשובה בהתפתחות ארגון המדינות הבלתי-מזדהות כגוף פוליטי.
ועידות הפסגה של ארגון המדינות הבלתי-מזדהות מתקיימות מדי שלוש שנים. ועידת הפסגה הראשונה התקיימה בבלגרד ב-1961 בנוכחות 25 צירים, רובם מאסיה ומאפריקה, וכן מיוגוסלביה, מקובה ומקפריסין.
הפסגה הבאה התקיימה בקהיר ב-1964 בהשתתפות 46 מדינות, כאשר רוב החברות החדשות היו מדינות בעלות ממשל חדש שהוקם בסמוך למועד הוועידה, בעקבות התמוטטות משטרים קולוניאליים באפריקה.
הפסגה ב-1970 התקיימה בלוסקה, זמביה והייתה בין החשובות ביותר, מאחר שנקבעו בה מנגנונים קבועים לטיפוח קשרים כלכליים בין המדינות.
הפסגה שהתקיימה ב-1973 באלג'יר עמדה בצילו של משבר האנרגיה, שהביא להתעשרות מהירה של כמה מחברות הארגון.
אף כי ארגון המדינות הבלתי-מזדהות נועד להיות ארגון מלוכד בדומה לנאט"ו או ברית ורשה, בפועל נוצרו בו חיכוכים רבים בין החברות, והקשר ביניהן רופף יותר מאשר בבריתות אחרות. חלק מן החברות מצאו את עצמן מצטרפות לאחד הגושים הגדולים למרות המחויבות לאי-הזדהות; כך למשל חברה קובה לברית המועצות בעת המלחמה הקרה. ניקיטה חרושצ'וב הפשיר את הגישה האידאולוגית הנוקשה שאפיינה את משטר סטלין והוביל גישה אוהדת כלפי גוש המדינות הבלתי מזדהות, לעומתו - טרומן ואייזנהאואר הובילו משטר אנטי קומוניסטי נוקשה שבא לביטוי גם במקארתיזם. גישתה המרחיקה של ארצות הברית מול גישתה המקרבת של ברית המועצות גרמו לגוש השלישי להיות קרוב יותר לברית המועצות מאשר לארצות הברית, וזאת עד לשנות ה-60 של המאה ה-20, כאשר קנדי שינה את גישתה של ארצות הברית. סיבה נוספת לקרבה שחשו מדינות הגוש השלישי אל הגוש המזרחי היא היותן של המדינות הקולוניאליסטיות לשעבר (בריטניה וצרפת) משויכות לגוש המערבי.
בעקבות התפרקותה של יוגוסלביה הביעו המדינות שבעבר הרכיבו אותה עניין מועט בלבד בארגון המדינות הבלתי-מזדהות. כמו כן, סלובניה, קפריסין, קרואטיה ומלטה, עזבו את הארגון ב-2004 (שלושת הראשונות) וב-2013 (קרואטיה) עם הצטרפותן לאיחוד האירופי. קרואטיה עדיין קשורה לארגון במעמד של "משקיפה", כמו ברזיל, אשר מעולם לא הייתה חברה בו.
