נולד בפלך מוהילב. התייתם מהוריו בגיל צעיר. בגיל 15 למד בישיבת מיר, וכונה "העילוי ממוהילב" בשל ידענותו המופלגת. עבר לברלין על מנת ללמוד בבית המדרש לרבנים מיסודו של עזריאל הילדסהיימר. שם הוסמך לרבנות (אף שמעולם לא כיהן כרב), והתקרב לתנועת ההשכלה היהודית. בנוסף למד שם לימודי חול. לאחר שנתיים בברלין, עבר לציריך, והתקבל שם ללימודים בפוליטכניקום (האוניברסיטה ההנדסית-הטכנית), אך עבר ללימודי רפואה, שאותם סיים ב-1887. לאחר שסיים את לימודי הרפואה, עבר לפריז כדי להתמחות ברפואת עיניים. באותה תקופה התקרב לציונות, והכין עצמו לעלייה לארץ ישראל.
מזי"א עלה לארץ ישראל ב-1889, והתיישב בראשון לציון. בנוסף על עבודתו כרופא, הוא חידש מילים בעברית, ובעיקר מילים רבות מן המילון הרפואי. למעשה הוא יצר את השפה הרפואית העברית. הוא הכיר והתיידד עם אליעזר בן-יהודה אשר העיד: "מנהגי בקביעת שמות למושגים מדעיים, בפרט בענייני המחלות והרפואות, להתייעץ עם ידידי ד"ר מזי"א שהוא בן-סמך לדבר הן מבחינת המדע והן מבחינת הלשון".
הוא שהציע להשתמש במשקל םַםֶּםֶת כמשקל המחלות, לפי פרשת תזריע-מצורע. "וכך המחלה שגורמת לאדמומיות העור נקראת מעתה אַדֶּמֶת (Rubella), המחלה שגורמת לגוון צהבהב בעיניים נקראה צַהֶבֶת (Hepatitis), מצב רפואי הגורם להצטברות לא תקינה של נוזלים בגוף כונה מעתה בַּצֶּקֶת (Edema) והמחלה הנגיפית שתוקפת כלבים משוטטים, נקראה מעתה כַּלֶּבֶת (Rabies)."[2] ד"ר מזיא עמל לחנך את תושבי ארץ ישראל לשמירה על הגיינה כדי למנוע הדבקות במחלות. אחת המחלות השכיחות שנגרמו על ידי זיהום הייתה טרכומה, מחלת עיניים שד"ר מזיא נתן לה את שמה העברי 'גרענת', על שם לחמית העין של החולה שנראית מגורענת. שיפור בכללי ההיגיינה העלים מהארץ את המחלה שגרמה לעיוורון של רבים מהלוקים בה, אך שם המחלה נתקבע במילון העברי.[3]
נוסף על עיסוקו ברפואה ובבלשנות, עסק מזי"א גם בפרדסנות. בין היתר נטע את הפרדס הראשון בפתח תקווה, שיכלל מתקנים חקלאיים, ונמנה עם מייסדי אגודת הפרדסנים "פרדס". הלך בדרכו חתנו, צבי איזקסון, לימים נשיא התאחדות האיכרים.
בשנת 1902 עבר מזי"א לירושלים, והחל במפעל כתיבת המילון לרפואה ולמדעי הטבע, עבודת מחקר רחבת היקף שלא תמה בחייו, ונשלמה על ידי ד"ר שאול טשרניחובסקי. בביתו התארחו באופן קבוע חיים נחמן ביאליק, הרב קוק, אליעזר בן-יהודה ואחרים.
בירושלים (1908 בקירוב) הקים עם הכומר והזואולוג הגרמני, ארנסט שמיץ, את החוג הראשון בארץ ישראל של דוברי השפה הבינלאומית אספרנטו.
במלחמת העולם הראשונה נעצר בנו אליהו רוניא (רנה) מזי"א בבית אביו בירושלים בחשד לחברות במחתרת ניל"י. הוא סבל כשנה וחצי בכלא הטורקי בדמשק, עד שהצליח לברוח בהמולת סוף המלחמה וניסה להגיע לארץ ישראל. בדרכו חלה אנושות, ונפטר זמן קצר לאחר הגיעו ליפו, למרות מאמצי אביו להצילו.
זכה לחמש עטרות... עטרת חכמת הרפואה, עטרת הבלשנות, עטרת מהנדס, עטרת מעשים טובים בעבודתו הצבורית ועטרת ההוראה. עתה זכה לעטרה נוספה וחשובה, עטרת תפארת שיבה. אני כשלעצמי חושב את עטרת הבלשנות ליותר חשובה, כי "החיים והמות ביד הלשון", בלי לשון אין חכמה, אין תורה ואין רפואה.
ד"ר מזי"א נפטר בן 72 ונקבר בבית הקברות בהר הזיתים. הותיר אחריו את רעייתו איגניה (אז'ני לפי מקור אחר[7], ייתכן אַגְנִייָה במקור) לבית גוטמן ואת בתו מרגלית, שנישאה לצבי איזקסון.
לאחר מותו
לעריכת המילון לרפואה ולמדעי הטבע הוזמן להמשיך הרופא והמשוררשאול טשרניחובסקי, והמילון יצא לאור עם הקדמה מאת ביאליק.
באקדמיה ללשון העברית נפתח ב-1994 המכון לתולדות תחיית הלשון העברית על שם מזי"א (נסגר ב-2006), אשר עסק בחקר תולדות תחיית הלשון העברית בארץ ובתפוצות למן תקופת התחייה ולפניה ועד לייסוד מדינת ישראל על פי תעודות של ועד הלשון, והעביר הרצאות וימי עיון לחוקרים, למורים ולציבור הרחב.