קרליבך היה בנו השישי מבין תשעה ילדיו של יוסף צבי קרליבך (1802–1881), סוחרבקר בהיידלסהיים, ואשתו סילי (לבית שטרן; 1811–1883). אחיו הבכור נתן קרליבך (1844–1912), שנישא ללינה שוואב (1857–1922), ייסד את הענף הפרנקפורטי של המשפחה, שהיה פעיל ביותר מבחינה מסחרית.
למד בגימנסיה בברוכזאל ולאחר מכן בבית הספר התיכון בקרלסרוהה. בשנת 1866 החל את לימודיו באוניברסיטת וירצבורג, ושנה לאחר מכן עבר לברלין. בשנת 1868 סיים את לימודיו באוניברסיטת טיבינגן, ובה קיבל תואר דוקטור לפילוסופיה על תזה בנושא: "התפתחות הדרמה הגרמנית עד לסינג, עם התייחסות מיוחדת למשחקי קרנבל גרמניים, והרכיבים העבריים שלהם" (Entwicklung des deutschen Dramas bis Lessing, mit besonderer Berücksichtigung der deutschen Fastnachtsspiele und deren hebräischer Bestandteile). לאחר מכן חזר לברלין ללימודי רבנות, ובשנת 1869 קיבל סמיכה לרבנות. למד תורה גם מפי הרב יצחק דב הלוי במברגר בווירצבורג[1].
ביוני 1870 ירש את מקומו של רב העיר ליבק, אלכסנדר זוסמן אדלר. בשנת 1872 נישא לאסתר אדלר (גר') (1853–1920) בתו של קודמו בתפקיד רב העיר, כמקובל בקהילות גרמניה. אסתר פרסמה מאמרים ושירים והייתה פעילה מרכזית באיגוד הנשים היהודיות בליבק.[2] בשנת 1880 חנך את בית הכנסת בליבק.
קרליבך נפטר משבץ מוחי בי' באדר ב'ה'תרע"ט (12 במרץ1919). הוא נקבר בבית העלמין היהודי במויסלינג (Moisling), פרבר על יד ליבק, שם נקברו גם אחדים מבניו ואשתו אסתר, שנפטרה שנה לאחר מכן. בשנת 2005 נחנך על שמו ושם משפחתו "פארק קרליבך" בליבק.
הוא אף המליץ לקרא אותם בשבת לאחר קריאה ולימוד פרשת השבוע על מפרשיה וטעמיה, כחלק ממצוות עונג שבת. את הנוהג לקביעת זמן ללימודי קודש וחול השריש גם בנכדו, השופט לעתיד חיים כהן, אשר למד אצלו בצעירותו.[3] קרליבך היה מושא לביקורת חריפה של חוקר הספרותברוך קורצווייל, במאמרו "על דיוקנה של היהדות המסורתית בגרמניה", שבו תקף את רמתם התרבותית הנמוכה של מנהיגי היהדות החרדית בגרמניה בדורות ההמשך לאחר הרב הירש.[4]
בנוסף למשרת הרבנות קרליבך היה פעיל גם כפוליטיקאי. בשנים 1877–1895 כיהן כחבר במועצת העיר ליבק, ופעל בה בעיקר למען צורכי הקהילה היהודית,[5] אך גם ביטא את הרגש הלאומי הגרמני שלו בנאומים חוצבי להבות שנשא בפרלמנט. היה מעריץ נלהב של הקיסר וילהלם השני, ובניו אף התגייסו לצבאו בתקופת מלחמת העולם הראשונה. תוצאות המלחמה, שבמסגרתן הקיסרות הגרמנית התפרקה ונאלצה לשאת באשמת המלחמה, הסבו לו צער רב. כמו כן היה חבר בהנהלת האגודה החופשית למען האינטרסים של היהדות האורתודוקסית בפרנקפורט.
קרליבך חיבר גם ספרים, בהם ספרי מוסר והדרכה למשפחה היהודית, ספרי היסטוריה יהודית, וכן חיבר את "בית יוסף צבי" על שם אביו ורבו יוסף הכהן אלטמן, המקבץ את הטקסט של מספר פרשנים תלמודיים במקום אחד. בשנת תר"ע הדפיסו בניו וחתניו את הקובץ "לשלמה" לרגל מלאות לו ארבעים שנה ברבנות העיר, ובו הופיעו מאמרים רבים ממשפחתו ומידידיו הרבנים.
בספר היובל לרב דוד צבי הופמן פרסם מאמר שבו הוכיח את החובה על נשים לכסות את שער ראשן, ומחה נגד העובדה שנשים רבות, גם יראות שמים, אינן עושות כן. הוא מספר במאמרו שאין להשוות איסור צניעות ברור זה, לכך שהוא עצמו נוהג ללחוץ יד לנשים שמושיטות לו את ידן, כיון שזה אסור רק כאשר נעשה לכוונת הנאה ולא לכבוד.[6]
Sittenreinheit – Ein Mahnwort an Israels Söhne und Töchter, Väter und Mütter ("טוהר המידות – תוכחה אל בני ובנות ישראל, אבים ואמהות") ברלין, 1917.
Ratgeber für das jüdische Haus – Ein Führer für Verlobung, Hochzeit und Eheleben ("יועץ לבית היהודי – מדריך לחתונה, אירוסין, וחיי הנישואים"), ברלין 1918.
