وفي عام 1924 زاره ابن باديس وعرض عليه فكرة إقامة جمعية العلماء، وبعد تأسيس الجمعية اُختِير الإبراهيمي نائباً لرئيسها، وانتدب من قِبل الجمعية  لنشر الإصلاح في غرب الجزائر وفي مدينة وهران  التى كانت معقلاً للطرق الصوفية ، فبدأ ببناء المدارس الحرة، وكان يحاضر في كل مكان يصل إليه ، وقد امتد نشاطه إلى تلمسان  فعارض نشاطه الصوفيين وقدموا العرائض للوالي الفرنسي يلتمسون فيها إبعاد الشيخ الإبراهيمي، ولكنه استمر في نشاطه، لتنتشر المدارس العربية في وهران. 

وقد أُبعد الإبراهيمي إلى صحراء وهران سنة 1940م، وبعد وصوله إلى معتقل الصحراء بأسبوع توفي الشيخ ابن باديس، فقرر رجال الجمعية انتخاب الإبراهيمي لرئاستها، وفي عام 1939 كتب مقالاً في جريدة "الإصلاح" فنفته فرنسا إلى بلدة آفلو الصحراوية، واستمر في معتقل (أفلو) الصحراوي من عام 1940م إلى عام 1943م.

وبعد إطلاق سراحه أنشأ في عام واحد 73مدرسة وكتّابًا؛ وكان الهدف نشر اللغة العربية، وجعل ذلك عن طريق تحفيظ القرآن الكريم، إبعادًا لتدخل سلطات الاحتلال الفرنسي؛ وقد تسابق الجزائريون على بناء المدارس فزادت على 400 مدرسة.

وفي عام 1945م  أعتقل في السجن العسكري ولقي تعذيبًا شديدًا من الفرنسيين، ثم أُفرج عنه، فقام بجولات في أنحاء الجزائر لتجديد النشاط في إنشاء المدارس والأندية والكتاتيب، وكان له نشاط خارجى حيث تابع مراكز جمعية العلماء وفروعها بفرنسا والتي كانت أول مراكز إسلامية في أوروبا، والتي تعطلت بسبب الحرب العالمية، فأوفدت الجمعية سنة 1947 مراقبها العام الشيخ سعيد صالحي إلى فرنسا "ليدرس الأحوال ويمهد الأمور"، وسرعان ما عاد النشاط وتوسع ولم يقتصر على العمال الجزائريين بل شمل حتى طلبة الكليات بفرنسا من أبناء الجزائر

 وفى عام 1947 عادت مجلة البصائر للصدور، وكانت مقالات الإبراهيمي فيها على قدر من البلاغة ومن الصراحة والنقد القاسي لفرنسا زعماء الأحزاب السياسية الموالين لفرنسا  وأستمر في نضاله حتى استقلت الجزائر، ثم استقرّ به المقام عام 1952م بالقاهرة وفي فترة إقامته بها  كان يقيم المحاضرات في المركز العام لجماعة  الإخوان المسلمين  وحاول التدخل للصلح بين الإخوان المسلمين و الرئيس جمال عبد عبد الناصر  وحين اندلعت الثورة الجزائرية سنة 1954م قام برحلات إلى الهند وغيرها لإمداد الثورة بالمال والسلاح  وبعد الأستقلال أصبح إمام مسجد كتشاوة الذي كان قد حُوّل إلى كنيسة، ولم يكن راضياً عن الاتجاه الذي بدأت تتجه إليه الدولة بعد الاستقلال؛ فأصدر عام 1964 بياناً ذكر فيه: "إن الأسس النظرية التي يقيمون عليها أعمالهم يجب أن تنبعث من صميم جذورنا العربية الإسلامية لا من مذاهب أجنبية".

وذلك يوم 1965/20/5م  تحت الإقامة الجبرية؛ لأنه أصدر بيانًا باسم جمعية العلماء الجزائريين بعد الاستقلال يحذر فيه من المبادئ المستوردة، رأى فيه الرئيس الجزائري تعريضًا به وبنظام حكمه مما دعاه لفرض الإقامة الجبرية على الشيخ الإبراهيمي  وتوفي  أثناء الاقامة الجبرية 

"إن شباب الأمة هو الدم الجديد في حياتها، فمن الواجب أن يصان هذا الدم عن أخلاط الفساد، ومن الواجب أن يتمثّل فيه الطهر والفضيلة والخير".

"هذه الطلائع لا تحقّق رجاء الأمة إلاّ إذا انقطعت للعلم، وتخصّصت في فروعه، ثم زحفت إلى ميادين العمل مستكملة الأدوات، تامة التسلح، تتولى القيادة بإرشاد العلم، وتحسن الإدارة بنظام العلم، فتثأر لأمتها من الجهل بالمعرفة، ومن الفقر بالغنى، ومن الضعف بالقوة، ومن العبودية بالتحرر، وتكتسح من ميادين الحق بقايا الدجالين، ومن ميدان السياسة والنيابة بقايا السماسرة والمتجرين، ومن أفق الرياسة بقايا المشعوذين والأميّين".

"إن فرنسا قد جهلت أو تجاهلت أن أبناء الجزائر، كغيرهم من أبناء العروبة، قد انحدروا من أصلاب قوم كرام يأنفون الذل، ولا يصبرون على الضيم، بل كانوا يؤثرون الموت في عزة وكرامة، على الحياة في ذلة ومهانة."

"إني أومن إيمانًا صادقًا أن لا بقاء للاستعمار في أمة مسلمة؛ لأن مبادئ هذا الدين، وتعاليمه، وتوجيهاته، خير دعامة للحرية، وأقوى حافز للثورة ضدّ الذل والعسف".

"إن الدين يأمرنا بالاتحاد، والتعاون، والتآزر، ويفرض علينا القتال والنضال، كلما خِيفَ على حرّيتنا أن تُسلب، وعلى كرامتنا أن تُهْدَر، فكيف يتفق أن يكون للاستعمار بقاء مع هذه المبادئ العظيمة التي قرّرها الدين؟".

كان له العديد من المؤلفات  حيث كان من أعضاء المجامع العلمية العربية بدمشق والقاهرة وبغداد، وله شعر إسلامي ، بلغ حوالي 36ألف بيت، كان ينشره في مجلة (البصائر) التي كان رئيس تحريرها؛ وهو من خطباء الارتجال المفوّهين ومن أهم مؤلفاته : 

1- عيون البصائر

2-   في قلب المعركة

3-    النقابات والنفايات في لغة العرب

4-    رواية كاهنة أوراس

5-    حكمة مشروعية الزكاة

6-    الملحمة الرجزية في التاريخ

7-    أسرار الضمائر العربية

8-    الطرق الصوفية

9- شعب الإيمان

10- الثلاثة

11- الاطراد والشذوذ في العربية

12- التسمية بالمصدر

13- الصفات التي جاءت على وزن فَعلَ

14- نظام العربية في موازين كلماتها

15- رسالة في ترجيح أن الأصل في الكلمات العربية ثلاثة أحرف لا اثنان

16- نشر الطي من أعمال عبد الحي

17- ملحمة شعرية

18- رسالة في مخارج الحروف وصفاتها بين العربية الفصيحة والعامية

19- الأخلاق والفضائل