في عام 1338 هـ، الموافق 1920 غادر الإبراهيمي دمشق إلى الجزائر، وبدأ بدعوته إلى الإصلاح ونشر التعليم الديني في مدينة سطيف، حيث دعا إلى إقامة مسجد حر (غير تابع للإدارة الحكومية). وفي عام 1924 زاره ابن باديس، وعرض عليه فكرة إقامة جمعية العلماء، وبعد تأسيس الجمعية اُختِير الإبراهيمي نائباً لرئيسها، وانتدب من قِبل الجمعية لمهمة قيل إنها صعبة آنذاك، وهي نشر الإصلاح في غرب الجزائر، وفي مدينة وهران، وذلك أنها كانت تعتبر معقلاً حصيناً للصوفية الطرقيين، فبادر إلى ذلك، وبدأ ببناء المدارس الحرة، وكان يحاضر في كل مكان يصل إليه، تساعده خطابته وبراعته الأدبية، وقد امتد نشاطه إلى تلمسان التي يعتبرها الكثيرون واحة الثقافة العربية في غرب الجزائر. وقد قامت الفئات المعادية من السياسيين والصوفيين،وقدموا العرائض للوالي الفرنسي يلتمسون فيها إبعاد الشيخ الإبراهيمي[بحاجة لمصدر]، ولكن الشيخ استمر في نشاطه، وهكذا برزت المدارس العربية في وهران.
«ومن خصومها (أي الجمعية) رجال الأحزاب السياسية من قومنا مِن أفراد وأحزاب يضادّونها كلما جرَوا مع الأهواء فلم توافقهم، وكلما أرادوا احتكار الزعامة في الأمة فلم تسمح لهم، وكلما طالبوا تأييد الجمعية لهم في الصغائر - كالانتخابات - فلم تستجب لهم، وكلما أرادوا تضليل الأمة وابتزاز أموالها فعارضتهم».[3]
وكان من المدافعين عن اللغة العربية، ففي «البصائر» يقول: «اللغة العربية في القطر الجزائري ليست غريبة، ولا دخيلة، بل هي في دارها وبين حماتها وأنصارها، وهي ممتدة الجذور مع الماضي، مشتدة الأواصر مع الحاضر، طويلة الأفنان في المستقبل».[4] اهتمت «البصائر» بالدفاع عن قضية فلسطين؛ فكتب عنها الإبراهيمي عديد المقالات.
تابع الإبراهيمي مراكز الجمعية وفروعها بفرنسا، وكانت أول مراكز إسلامية في أوروبا، والتي تعطلت بسبب الحرب العالمية، فأوفدت الجمعية سنة 1947 مراقبها العام الشيخ سعيد صالحي إلى فرنسا «ليدرس الأحوال ويمهد الأمور»، وسرعان ما عاد النشاط وتوسع، ولم يقتصر على العمال الجزائريين، بل شمل حتى طلبة الكليات بفرنسا من أبناء الجزائر.[5]
توفي وهو رهن الإقامة الجبرية في منزله، يوم الخميس 20 ماي 1965، وقد جمع نجله الدكتور أحمد طالب الإبراهيمي وقدم جميع آثاره في خمسة أجزاء تحت عنوان: «آثار الإمام محمد البشير الإبراهيمي»
سكتُّ فقالوا: هدنة من مسالم
وقلتُ، فقالوا ثورة من محاربِ
وبين اختلاف النطق والسكت للنهى
مجال ظنون واشتباه مساربِ
وما أنا إلاّ البحر يلقاك ساكنًا
ويلقاك جيّاشًا مهول الغواربِ
وما في سكون البحر منجاة راسبٍ
ولا في ارتجاج البحر عصمة ساربِ
ولي قلمٌ آليتُ أن لا أمدّه
بفتل مُوار، أو بختل موارب
جرى سابقا في الحقِّ ظمآنَ عائفاً
لأموَاه دنياه الشرارالزَّغارب
يسدِّدُهُ عقلٌ رسا فوق رَبْوة
من العمر،روَّاها مَعينُ التجارب
إذا ما اليراعُ الحرُّ صرَّ صريرُه
نجا الباطل الهارِي بمهجة هارب
ومن سيئات الدهر أحلافُ فتنة
وجودهمُ إحدى الرزايا الكوارب
ومن قَلمي انهلَّت سحائبُ نقمة
عليهم بوَدْقٍ من سمام العقارب
فيا نفس لا يقعدْ بك العجز، وانهضي
بنصرة إخوان وغوْثِ أقارب
حرامٌ قعودُ الحُرّ عن ذَوْد مُعْتد
رمى كلَّ ذَوْد في البلاد بخارب
وبَسْلٌ سكوتُ الحر عن عسف ظالم
رمى كلَّ جنب للعباد بضارب
يُسَمِّنُ ذئبَ السُّوء قومي سفاهةً
بما جبّ منهم من سَنامٍ وغارب
وما كان جندُ الله أضعف ناصراً
ولا سيفُه الماضي كليلَ المضارب
ومن جنده ما حطّ أسوارَ مارد
وما صنع الفارُ المَهين بمارِب
ومن جُنده الأخلاقُ تسمو بأمَّة
إلى أفْق سَعد للسِّماك مقارب
وتنحطُّ في قوم فيهوُون مثلَ ما
ترى العين مهوى للنجوم الغوارب
ينال العُلا شعبٌ يقاد إلى العلى
بنشوانَ من نهر المجرّة شارب
رعى الله من عُرب المشارق إخوةً
تنادوا فدوّى صوتهم في المغارب
توافوا على داعٍ من الحقّ مُسْمعٍ
و وَفّوا بنذر في ذِمام الأعارب
هُموا رأسُ مالي، لا نضارٌ وفضّة
وهمْ ربحُ أعمالي ونُجْحُ مآربي
وهمْ موردي الأصفى المُروِّي لغُلّتي
إذا كدّرَتْ أمُّ الخيار مشاربي