در جنوب گرمسار و در دامنه های شمالی سياه کوه کاروانسرای سنگی بسیار زیبایی با پلان مستطیل شکل ساخته شده است که از مهمترین بناهای سیاهکوه است، مصالح عمده جهت ساخت این کاروانسرا سنگ است و  در بخشهایی نیز از آجر استفاده شده است، نمای بيرونی اين بنا چهار گوش و دارای دو دروازه شمالی و جنوبی است.

اطراف اين قصر شش برج بنا شده است. سفال هايي که از اطراف اين بنا به دست آمده به احتمال قوی از دورة تيموری و نشانة آن است که اين بنا پيش از صفويه برپا بود . اين بنا كه در دوره صفويه تعمير اساسي شد ، به بناي شاه ‌عباسي معروف شده است.