עסק, בין היתר בחקר הלשון העברית ובמיוחד בחקר לשון המקרא. חיבורו החשוב בתחום זה היה המילון המקראי: "משפט האורים".
בנוסף, חיבר מילון עברי-רוסי-גרמני גדול, וכן מילון כיס שזכה למהדורות רבות. למד באוניברסיטת וילנה בלשנות וספרות סלאבית. מאמריו ומחקריו על הספרות הסלאבית העתיקה ועל הפולקלור הרוסי נדפסו בירחונים הרוסים כמו רוסקויא בוגאטסטוו, ויאסטניק יאברופי ועוד. מילונו העברי-ארמי-רוסי זכה לפרס מטעם הסינוד הקדוש כפי שהוא מספר בהקדמתו למשפט האורים.
ספרו על דקדוק הלשון העברית, "מערכי לשון עבר" (1884), עשה רושם ניכר בקרב היהודים, בשל סגנונו הבהיר ודרכי הסברתו הפשוטים וההגיוניים. בספרו סתר שטיינברג בין היתר את הדעה המקובלת מימות יהודה חיוג' על השורש התלת־עיצורי; כמו כן, טען כי המבטא האשכנזי, ולא המבטא הספרדי, הוא הנכון.
לשיטה השטיינברגית בלשון היו מעריצים רבים, וספרי דקדוק רבים יצאו לאור בעקבותיו. כתב עליו אברהם בר גוטלובר: "אמנם ראה ראיתי את חתנו החכם הנכבד הר”ר יהושע שטיינברג נ“י איש אשר הראה כוחו וגבורתו בשפת עבר בספרו היקר ‘אור לישרים’ (ווילנה תרכ"ו), וידיעתו הגדולה והרחבה ביסודי הלשון ההיא הראה לדעת בספר ‘דקדוק’ שחיבר בלשון רוסיה, אשר לפניו לא היה כמוהו בלשון מדינתנו ואחריו כל מושך בשבט סופרים ימשוך והוא יהיה לעיניים לכל הבא אחריו לדבר דבר בעניין זה".[3] וכתב יוסף קלוזנר: "אם היו בתוכנו אנשים "בעלי מלאכה אחת" בשנות המאה שעברה, היה האחד והמיוחד שביניהם יהושע שטיינברג. כל עניין שכתב עליו ידע עד תכליתו, כל דבר שעסק בו היה רק מן הדברים שהיה מומחה להם. ובספרותנו שהכל אוהבים לדבר בה דווקא על מה שאינם מבינים, קשה להעריך את על ערכה הגדול של מידה טובה זו, שהייתה מצויה בשטיינברג."
מכתביו
אור לישרים: כולל משלי חכמה ומוסר ממיטב דברי חכמי הקדם וחכמי זמננו [משלי יהושע] / חברו בלשון כתבי הקדש עם הערות מאת יהושע שטיינבערג, וילנה: דפוס פין וראזענקראנץ, תרכ"ו-1865.
מערכי לשון עבר / ערוכה בשטה חדשה מאת יהושע שטיינבערג, וילנה: האלמנה והאחים ראם, תרמ"ה.
משפט האורים / מילון התנ"ך עברית וארמית עם תרגום לרוסית וגרמנית, תרנ"ה.
שלשת הספרים נדפסו בהמשך במספר רב של מהדורות.
תרגום: מָעתק לשפת עבר מאת יהושׁע בן מנחם שטיינבערג, משגיח על האינסטיטוט למורי ישראל בווילנא, 'מַשַּׂא גֵּיא חִזָיוֹן - סֵפֶר חֲזוֹן הַסִבִּלּוֹת למשׁוררי היהודים ההֶלֶנים', ורשה: דפוס רבי יצחק גאלדמאן, 1887;
