این باغ عمارت در اواخر دوره‌ی قاجار و اوایل دوره‌ی پهلوی ساخته شده‌است. این باغ عمارت در ابتدا محل کنسولگری انگلیسی‌ها بوده که از سال 1315 تا سال 1329 خورشیدی در آن ساکن بودند. سپس یک شاهزاده‌ی قاجاری در آن ساکن می‌شود. بعد از این‌ها این باغ عمارت به مزایده گذاشته شد و فتحعلی‌خان نظری آن را خریداری نمود و خاندان نظری تا مدت‌ها در این باغ عمارت ساکن بوده‌اند. سپس این خانه در سال 1377 با موافقت خانواده‌ی نظری ثبت ملی شد.