אבי המשפחה היה חוכר יהודי בשם מוזס מאייר, שחי בנסיכות ויטגנשטיין בוסטפאליה. ב-1808 הכריז נפוליאון בונפרטה שכל נתיניו חייבים לקחת לעצמם שם משפחה. וכך נטל בנו, שנקרא באותו שם, מוזס מאייר, את שם המשפחה של נסיכי זיין-ויטגנשטיין (Sayn-Wittgenstein) כשם משפחתו והיה למוזס מאייר ויטגנשטיין. הוא היה סוחרצמר מצליח בעיר קורבאך ( Korbach).
בנו הרמן (1802-1878) התנצר והיה לפרוטסטנטי בשם הרמן כריסטיאן (כלומר הנוצרי) ויטגנשטיין (Hermann Christian Wittgenstein). ב-1839 נשא הרמן לאשה את פאני פיגדור, בת למשפחת פיגדור, אחת המשפחות היהודיות הנכבדות של וינה. בן-דודה היה הכנריוזף יואכים. פאני נטלה תחת חסותה את בן-דודה ודאגה לכך שיובא ללייפציג על מנת שיפגש עם פליקס מנדלסון-ברתולדי, שלקח אותו תחת חסותו ופיתח את הקריירה שלו. היא התנצרה והייתה לפרוטסטנטית לפני נישואיה. הרמן עשה חיל כסוחר צמר בלייפציג ולזוג נולדו אחד-עשר ילדים, בהם אביהם של לודוויג ופאול, קרל ויטגנשטיין (8 באפריל1847 – 20 בינואר1913). בן נוסף נקרא פאול (1842–1928). הוא אביו של ד"ר קרל פאול ויטגנשטיין. בנו, שנקרא אף הוא פאול (1907–1979) הוא הדמות הראשית בספר "אחיינו של ויטגנשטיין" מאת תומאס ברנהרד[1].
קרל היה השישי בין ילדיהם של פאני והרמן. שלוש שנים לאחר לידתו עברה המשפחה לעיר מדלינג שבאוסטריה. ב-1860 עברה המשפחה לווינה ושם עשתה הון בעסקי ריהוט. ב-1865 יצא קארל בחשאי לארצות הברית כנגן כינור, הוא שב לחיק משפחתו העשירה שנתיים מאוחר יותר. אף על פי שלא עשה חיל בארצות הברית, נחשף שם לקפיטליזם האמריקאי ולאילי ההון והתעשיינים כאנדרו קרנגי.
קרל השקיע את הונו בארצות הברית וייבא משם רעיונות שביצרו את המונופול שלו בתחומו, בפרט אינטגרציה אנכית, כלומר שליטה בכל שרשרת הייצור. משנת 1877 קרל עסק בכרייתברזל, עיבוד פלדה ויצור מוצרי פלדה בהם פסי רכבת, שהיו סחורה מבוקשת ביותר בעת התפתחות רשת הרכבות באימפריה האוסטרו-הונגרית. מרכז האימפריה שלו היה בטפליץ. עד מהרה היה הונו של קרל שני רק לזה של משפחת רוטשילד והמשפחה רכשה אחוזות ברחבי אוסטריה ובפרט ארמון ("פאלה", בצרפתית: palais) ברינגשטראסה שבווינה.
החינוך בבית ויטגנשטיין היה חינוך ביתי, על מנת שילדי המשפחה לא יספגו מנהגים קלוקלים. אבי המשפחה השליט את מרותו והכין את ילדיו להיות יורשי אימפריית התעשייה שלו. תוכנית הלימודים כללה מתמטיקה, לטינית, אנגלית ומוזיקה ברמה גבוהה. עם זאת, הדבר לא עלה בקנה אחד עם כשרונותיהם המוזיקליים ורוחניים של הבנים, דבר שהוביל להתנגשויות בין רצון הברזל של האב לנפשם של הבנים. לפי עדויות שונות האווירה בבית המשפחה הייתה של ביקורת רציונליסטית הדדית קרה ונוקבת שלוותה בהתפרצויות זעם שגבלו בטירוף. האם כמעט שלא הייתה נוכחת בחינוך הילדים[9].
ב-1902, לאחר שהנס, שהיה נער מגושם אך בעל כישרון יוצא דופן במתמטיקה ומוזיקה, נעלם במפרץ צ'ספיק בעת ביקור בארצות הברית בגיל 26, והייתה הנחה שהתאבד, התרכך מעט האב ולודוויג ופאול הצעירים נשלחו ללימודים בגימנסיה בעיר לינץ[10].
שנתיים לאחר מכן התאבד האח רודי בבליעת ציאניד בפאב בגיל 22 בעת שהיה סטודנט לכימיה באוניברסיטת ברלין, ככל הנראה על רקע ההומוסקסואליות שלו[11]. אבי המשפחה, שראה בהתאבדותו הפומבית של בנו קלון, אסר על בני המשפחה להזכיר את הבן המת. חודשים ספורים לאחר התאבדותו של רודי, נישאה מרגרטה לג'רום סטונבורו, גם הוא בן למשפחה יהודית מומרת (במקור: שטיינברגר). נישואיה הזוג היו כושלים ועקב הפריג'ידיות שלה, טופלה מרגרטה אצל הפסיכואנליטיקאיזיגמונד פרויד.
בעת האנשלוס (סיפוח אוסטריה לגרמניה הנאצית ב-1938) שהו רוב בני המשפחה מחוץ לאוסטריה. לפי חוקי נירנברג נחשבו בני המשפחה ליהודים, אך מרגרטה סירבה להאמין שמשפחה כה מכובדת ונוצרית עלולה להפגע. היא ופאול קיימו בנפרד מגעים עם השלטונות, בניסיון להוכיח שאינם כלל ממוצא יהודי (על ידי מרגרטה) או לשחד פקידים על מנת שלא יחרימו את רכוש המשפחה (פאול). הסכסוך יצר קרע ממושך בין פאול לבין יתר המשפחה, שלא התאחה עד מותו.