סבו של קרל ויטגנשטיין היה מנהל אחוזה בשם מוזס מאייר, שהגיע מהעיירה לָאספֵה. הוא עבר לקורבך לפני 1802, שם היה סוחר. בסביבות 1808 כינה את עצמו משה מאייר ויטגנשטיין, על שם מקום הולדתו זיגֵן-ויטגנשטיין ולאחר מכן נודע בשם משה מאיר ויטגנשטיין. בתחילה, עסקיו של ויטגנשטיין הפכו למפעל הגדול והמצליח ביותר בעיר קורבך, אך זמן קצר לאחר מכן החל לדעוך. נולד לו בן, הרמן כריסטיאן (נולד ב-12 בספטמבר 1802 בקורבך; נפטר בשנת 1878 בווינה) שהעביר את העסק לגוליס (Gohlis) בסוף שנות ה-30 של המאה ה-19. משם המשיכה המשפחה לשגשג כלכלית.
בשנת 1938, כדי להימלט מחוקי הגזע הנאציים וכדי להיות מסווג כחצי יהודים, טענו צאצאיו כי הרמן כריסטיאן אינו בנו של משה מאיר ויטגנשטיין אלא צאצא לא חוקי של בית וולדק (גר').
לאחר שהרמן כריסטיאן התנצר לפרוטסטנטיות, הוא התחתן עם פאני פיגדור בשנת 1839. היא באה מאחת המשפחות החשובות בווינה.
קרל, יליד 1847, היה השישי מתוך אחד עשר הילדים של הרמן ופאני. שלוש שנים אחר כך עברה המשפחה לווסנדורף באוסטריה, שם נולדו ארבעת אחיו הקטנים.
קרל התנגד בצעירותו לשיטות הלימוד הקלאסיות שהוטלו על ילדי הבורגנות הווינאית. הוא ברח מהבית בגיל אחת עשרה ובגיל שבע עשרה גורש מבית הספר בגלל חיבור שכתב ובו הכחיש את "נצחיות הנפש". אביו, הרמן, המשיך ברצונו לחנך את בנו בכך שהוא שכר עבורו מורים פרטיים כדי להבטיח שקרל יעבור את בחינותיו, אך קרל, שוב, ברח, ושהה בווינה כמה חודשים לפני שנמלט לניו יורק עם מעט כסף וכינור.[2]
מונק כותב, "בכל זאת הוא הצליח לשמור על עצמו במשך יותר משנתיים על ידי עבודה כמלצר, מוזיקאי סלון, ברמן ומורה (של כינור, מתמטיקה, גרמנית וכל דבר אחר שהיה יכול לחשוב עליו)."
הוא חזר לווינה בשנת 1867 והמשיך להתעניין בהנדסה. לאחר שנה של השכלה נוספת, לקח קרל את עבודת השרטוט בבניית בית חרושת לגלגלי פלדה בבוהמיה, תפקיד שהציע לו פול קופלוויזר, אחיו של גיסו.
קרל התקדם במהירות בתוך החברה ובסופו של דבר השתלט עליה כמנכ"ל בתוך חמש שנים. בסוף המאה התשע עשרה הפך קרל ויטגנשטיין לאחד הגברים העשירים באירופה ודמות מובילה בתעשיית הברזל והפלדה. בשנת 1898 הוא פרש מתפקידיו והעביר חלק ניכר מעושרו למניות זרות, בעיקר בארצות הברית שהגנה על משפחת ויטגנשטיין מפני האינפלציה בווינה לאחר מלחמת העולם הראשונה.
קרל התחתן עם ליאופולדין מריה יוזפה קלמוס, הידועה בקרב ידידיה בשם פולדי, בשנת 1873. היא הייתה בת הזוג היחידה של אחד מילדיו של הרמן כריסטיאן שהיה להם רקע יהודי; אביה היה יהודי בוהמי ואמה הייתה קתולית אוסטרית-סלובנית. נולדו להם תשעה ילדים.