دژ برازجان یا کاروانسرای مشیرالملک مربوط به اوایل قاجاریه، به عنوان نماد اصلی شهر برازجان در میانه شهر واقع شده است. کاروانسرای مشیرالملک در سال 1250 شمسی به فرمان حاج میرزا ابوالحسن خان مشیرالملک ساخته شد و تا سال 1300 شمسی به عنوان کاروانسرا استفاده می ‌شد که به دلیل واقع شدن شهر برازجان بر سر راه تجارتی شیراز به بوشهر مکانی مناسب جهت استراحت کاروانیان بوده است. این بنا در زمان پهلوی زندان بوده است.

کاروانسرای مشیرالملک در سال 1362 به شماره 1638 در فهرست آثار ملی کشور به ثبت رسید.