وخلال عام 1242 عزم الحج إلى بيت الله الحرام عن طريق البحر وخلال رحلته هبت رياح فى البحر المتوسط أغرقت المركب ولم ينج أحد سوى أبو العباس وأخيه واستقر بتونس إلى أن تعرف على الشيخ أبو الحسن الشاذلى وسافر معه إلى مصر وعاش فيها حتى دفن بالإسكندرية عام 706 هـ بمقبرة باب البحر، حتى بنى عليه الشيخ زين الدين بن القطان كبير تجار الإسكندرية مسجداً
وقد تجدد بناء المسجد عدة مرات إلى أن قررت وزارة الأوقاف بناء المسجد في هيئته الحالية وإنشاء ميدان فسيح حوله، وقد بني على الطراز الأندلسي