وعقب عودته إلى اليمن تم اعتقاله في سجن الأمن السياسي في صنعاء مع عدد من الجهاديين العائدين من أفغانستان، واستطاع إعادة الحياة إلى تنظيم القاعدة في السجن، وكان يلقي خطبة الجمعة داخل السجن، ويحمل بشدة على الرئيس السابق علي عبد الله صالح، وفي فبراير 2006 استطاع الفرار من سجن الأمن السياسي في صنعاء مع 23 سجينًا آخرين، وفي يوليو 2007 ارتبط اسم قاسم الريمي بالهجوم الذي استهدف مجموعة مع السياح الأسبان، وأسفر عن مقتل ثمانية منهم في مأرب بوسط اليمن ليعلن بعدها اندماج الفرعين السعودي واليمني للقاعدة في 2009م، وتولى بعدها مسئولية تجنيد الشباب اليمني والعربي للانضمام إلى القاعدة، ثم شغل منصب القائد العسكري للتنظيم منذ تأسيسه في 2009 بعد دمج الفرعين اليمني والسعودي للقاعدة، وفي نهاية عام2009 م حاول تفجير طائرة متجهة إلى الولايات المتحدة وإرسال طرود مفخخة إلى هذا البلد في 2010م، وحددت وزارة الخارجية الأمريكية قاسم الريمي بأنه إرهابي عالمي بموجب الأمر التنفيذي 13224 في شهر مايو 2010.

في يوم الجمعة الموافق 20 ديسمبر 2013م  ظهر الريمي ليعلن عن تبني تنظيم القاعدة لاقتحام مستشفى وزارة الدفاع اليمنية، الذي راح ضحيته أكثر من 60 شخصاً، منهم أطباء ومرضى كانوا في مبنى المستشفى التابع للمجمع، وأعلن عن استعداد القاعدة لدفع ديات القتلى وتعويض الجرحى وترميم المستشفى. 

حددت وزارة الخارجية الأمريكية قاسم الريمي بأنه إرهابي عالمي بموجب الأمر التنفيذي 13224 في شهر مايو 2010 وحددت حينها 5 مليون دولار لمن يدلي بمعلومات تقود إليه، ثم خلف قاسم الريمي، القيادي العسكري في تنظيم "القاعدة في جزيرة العرب"، ناصر الوحيشي، الذي قتل في غارة أمريكية يوم 16 يونيو 2015، وله أخ معتقل في معسكر جوانتانامو.

العمليات الإرهابية 

 شارك قاسم الريمي في التخطيط للعديد من العمليات الإرهابية، منها: 

1-  تفجير المدمرة الأمريكية يو إس إس كول.

2-  الهروب مع السجناء في سبتمبر 2006.

3- الإشراف على  كمين وادي دوعن.

4- الإشراف على   تفجير شبام.

5-  تفجير مسجد بن سلمان.

6- الاعتداء على  السفارة الأمريكية.