"عود تاريخ بناء القصر إلى أواخر القرن الثامن عشر الميلادي حين أمر ملك اليمن الإمام المنصور علي بن العباس وزيره علي بن صالح العماري (1736-1798) والذي اشتهر بالهندسة المعمارية والفلك، والشعر والأدب - أمره ببناء قصر في وادي ظهر ليكون قصراً صيفياً له. ويروي المؤرخون انه بني على أنقاض" أكمل الجملة السابقة عن دار الحجر:
قصر سبئي قديم كان يعرف بحصن ذي سيدان الذي بناه الحميريون عام 3000 ق.م، ودمر الحصن على يد الأتراك قبل أربعمائة عام، وأُعيد ترميمه في بداية القرن العشرين على يد الإمام يحيى حميد الدين بعد أن توارثه عدد من الملوك اليمنيين. ويعد حالياً معلماً سياحياً يقصده الآلاف من أنحاء العالم. كان البناء على طريقته الأولية لسنوات، حتى قام الإمام يحيى بن حميد الدين بإضافة الطابق الأعلى (المفرج).تتفاوت الروايات المرتبطة ببداية التأسيس والبنيان لدار الحجر وتشير بعض الحكايات أن الدار كان قد تعرض للهدم عشرات المرات إلا أنه كان يتم إعادة بنائه مرة أخرى.