يبدو أن تاريخ المركب المتكون من القصر والجامع يعود إلى عهد الأمير أحمد ابن خرسان (1100 - 1128) الذي عرف بتشييده لعدد هام من المباني. و حاليا تنتصب دار حسين بموقع القصر القديم.
و تؤكد حكاية متوارثة جادة أن الجامع كان في الأصل كنيسة وقع تحويلها وهي فرضية دعمها غياب ذكر أي اسم لمؤسس لهذا المعلم في المصادر التاريخية رغم أن مثل هذه التحف المعمارية يندر أن لا يقع إسنادها إلى فاعل خير أو مناشدة منشئها برجوعها إليه.
ويمتاز بمحرابه الذي تتوجه قوقعة ربع كروية ذات أضلع داخلية بارزة وتحتوي واجهته المطلة على الساحة على سلسلة من التعقيدات تعلوها تقوسات.
تضاف إلى ذلك حجج أخرى مثل عرض الجدران (2.5م ) و تواجد أحجار تحمل كتابات لاتينية بعدد من الأركان.
يؤكد عدد من الجزئيات الطابع العتيق للمعلم فأرضيته لا تتطابق مع مستوى الطريق و أعمدته، بتيجانها القديمة، وقع إعادة استعمالها.
كما تمت إضافة منارة فريدة من نوعها إلى الجامع سنة 1622 تمتاز المئذنة المربعة الشكل خالية من أية قاعدة وقائمة على الزاوية الشمالية الشرقية, وهي مئذنة دون قاعدة تنتصب مباشرة فوق جدران المصلى بفضل سمكها و صلابتها وهي نتاج لتلاقح النمطين التونسي والإسباني الذي كان شائعا خلال عهد محمد داي سنة 1032هـ /1622م.
تمتع الجامع بأشغال ترميم هامة مع إضافة فناء جانبي يعلو بوضوح مستوى قاعة الصلاة وتحيطه أروقة بأعمدة و تيجان تركية و ذلك حوالي سنة 1598 عندما قرر الأتراك استعمال المكان للصلاة حسب المذهب الحنفي.