ישר נולד במוסקבה בשנת 1920. שם משפחתו נגזר מראשי תיבות של סבו: יצחק שמואל רמסיסקין (שם כפרו בבלארוס).
עלה עם משפחתו לארץ ישראל בגיל ארבע. הוא התקבל ללימודי אדריכלות בטכניון, אולם מלחמת העולם השנייה קטעה את לימודיו והוא התגייס לצבא הבריטי. לאחר שחרורו השלים את לימודיו האקדמיים בטכניון. עד לשנת 1952 עבד עם האדריכל דב כרמי, והחל מאותה העת פתח משרד עצמאי. בין השנים 1958–1965 עבד יחד עם האדריכל דן איתן במשרד משותף.
ישר היה נשוי שלוש פעמים. אשתו הראשונה הייתה השחקנית חנה מרון, ממנה התגרש. לאחר מכן היה בן זוגה של תמר רפפורט, אותה הכיר במשרדו של דב כרמי. השניים נפרדו בעקבות נסיעתה של רפפורט לארצות הברית. לאחר מכן נישא לזמרת רמה סמסונוב, אם בנו, האדריכל אבנר ישר, המנהל כיום את המשרד. לאחר שובה של רפפורט לישראל, בסוף שנות ה-50, התגרש ישר מסמסונוב ונישא לרפפורט. לשניים שתי בנות משותפות.
