כספי נולד בעיר העתיקה בירושלים לאברהם חיים זילברמן ולנחמה רבקה, בתו של הרב משה יהושע יאנובר (דיסקין), ממייסדי שכונת מאה שערים. אחיו של מרדכי כספי, בילדותו למד בתלמוד תורהעץ חיים. את השכלתו המסחרית רכש בבית הספר למסחר של חברת "עזרה".
הוא עבד בחברת "וילהלם גרוס", חברה גרמנית שעסקה בסחר גלויות מארץ הקודש. בשנת 1909, בגיל 20, עבר לגור בחיפה במסגרת עבודתו. בשנת 1913 נשא לאשה את עדה גליקברג.[1]
בחיפה היה ליזם ואיש עסקים. בשנת 1920 הקים סוכנות שעסקה ביבוא ובמסחר ברחבי ארץ ישראל יחד עם שותפיו דיסקין וקפלן. במשך השנים התרחבו עסקי החברה גם לעסקי ספנות וביטוח. בשנת 1939 הפך לבעליה היחיד של החברה והיא נקראת "כספי ספנות". בנוסף, היה חבר ועד לשכת המסחר העברית וסגן הנשיא שלה, בשנת 1927 נבחר לגזבר הלשכה.[2] היה חבר בוועד לשכת הספנות הישראלית.
בשנת 1921 נמנה עם קבוצת אנשי עסקים חיפאיים חברי אגודת הסוחרים שיזמו את הקמת המרכז המסחרי הישן. עם הקבוצה נמנו גם שבתי לוי, שמואל פבזנר ונוספים. לצורך הרכישה הקימו השותפים את "החברה למרכז מסחרי".
כספי היה פעיל במסגרות חברתיות והתנדבותיות שונות. היה חבר בארגון בני ברית, ייסד לשכת "כרמל" ושימש כנשיאה במשך שנתיים. הוא היה חבר ברוטרי ובלשכת הבונים החופשיים, והיה ממייסדי בית האבות של הבונים החופשיים בנהריה.
במלחמת העצמאות שימש כנשיא בפועל של לשכת הספנות הישראלית וניהל עם ממשלת המנדט את המשא ומתן להעברת נמל חיפה לשלטונות הישראליים. לאחר קום המדינה שימש כמנהל הכספים של נמל חיפה. בשנת 1956, לאחר שפרש ממנהלת הנמל, היה נשיא אגודת סקאל לעידוד התיירות, ייסד את האיגוד לחוק הימי בישראל ושימש כנשיא האיגוד.