בשנת 1931 החל לעבוד במשרדו של האדריכל היהודי אריך מנדלסון שבברלין, במהלך עבודתו הושפע רבות מסגננו הייחודי של מנדלסון, והשפעה זאת ניכרת בעבודותיו.
בשנת 1932 החליט רובין לחזור לארץ והשתקע שוב בתל אביב. בתקופתו השנייה בארץ פתח רובין משרד אדריכלים משלו. בשנים אלו היה חבר ב"חוג הארכיטקטים" יחד עם זאב רכטר, אריה שרון ויוסף נויפלד. רובין היה אדריכל בולט ביישוב העברי, ועל עבודותיו החשובות נמנה בית הדר, שתוכנן ונבנה בין השנים 1938-1936. בית הדר הוא בניין המשרדים הראשון שנבנה בתל אביב והראשון שנבנה על קונסטרוקציית (שלד) פלדה, והוא עוצב בסגנון הבינלאומי.
עבודותיו של רובין בסגנון הבאוהאוס הובילו, יחד עם מבנים אחרים בסגנון זה, להכתרתה של תל אביב כאתר מורשת עולמית, וכ"עיר הלבנה".
ב-1938 הוזמן לבגדאד, שם תכנן ארמון לרופאו הפרטי של המלך פייסל.
בשנת 1941 תכנן יחד עם יצחק יעבץ את בית האוסף הארכאולוגי של האוניברסיטה העברית בירושלים
בהר הצופים. בדמשק תכנן את בית העירייה בשנת 1943.
המבנה האחרון שתכנן היה בית הספר אורט לטקסטיל ברמת גן.
קרל רובין נפטר בט"ו בשבט, תשט"ו (1955), לאחר מחלה קשה. נטמן בבית העלמין הישן בהרצליה.
הותיר אישה, מרגוט.
עבודותיו
קרל רובין תכנן מבנים בעיקר בסגנון הבינלאומי, ועבודותיו התרכזו בעיקר בתל אביב, ובהן:
בית הדר פינת הרחובות דרך בגין והרכבת. הבניין שתוכנן על ידי רובין בשנת 1938, הונצח בבול דאר ישראלי, שנכלל בסדרה של 3 בולים הקרויה "אדריכלות - הסגנון הבין-לאומי בתל אביב". ב-5 באפריל1994, הנפיק דאר ישראל את הסדרה הזאת שעוצבה על ידי האמן יגאל גבאי .[1]
בית פינקלשטיין, ברחוב מזא"ה פינת רחוב אלנבי 77: הסבת מבנה בן קומה אחת למבנה תלת-קומתי בסגנון הבינלאומי. בשנת 1933 הפכה קומת הקרקע לקומה מסחרית, ומעליה נוספו קומה ראשונה ושנייה למגורים, ושני חדרי מדרגות. אחד שירת את הדירות הפונות לרחוב מזא"ה. השני את הדירות הפינתיות ואת הדירות הפונות לרחוב אלנבי. בשנת 1949 הוסיף האדריכל יצחק שוורץ (שן-צור) קומה רביעית לבניין.
בית בנימין ברש, שלמה המלך 67. תוכנן בשנת 1935 כבית מגורים בסגנון הבינלאומי.
בית אברהם זאב רייס (בית מרקחת "עמנואל"), רחוב בן יהודה 63 פינת פרישמן 16, בניין תלת-קומתי. בקומת הקרקע היו שלוש חנויות ושתי הקומות העליונות שימשו למגורים.
