این باغ عمارت در اواخر دوره‌ی قاجار و اوایل دوره‌ی پهلوی ساخته شده‌است. این باغ عمارت در ابتدا محل کنسولگری انگلیسی‌‌ها بوده که از سال 1315 تا سال 1329 خورشیدی در آن ساکن بودند. سپس یک شاهزاده‌ی قاجاری در آن ساکن می‌شود. بعد از این‌ها این باغ عمارت به مزایده گذاشته شد و فتحعلی خان نظری آن را خریداری نمود و خاندان نظری تا مدت‌ها در این باغ عمارت ساکن بوده‌اند. سپس این خانه در سال 1377 با موافقت خانواده‌ی نظری ثبت ملی شد.

این باغ عمارت، مدتی کاربری آموزشی داشته و دانشکده‌ی معماری وابسته به دانشگاه آزاد اسلامی در آن مشغول به کار بوده‌است. در سال 1388 این بنا مرمت شد تا کاربری آن تغییر کند و عمر مفید بنا افزایش یابد.

در سال 1388 به همت اداره کل میراث فرهنگی، گردشگری و صنایع دستی استان همدان، در این باغ عمارت یک موزه‌ی مردم شناسی با نام نظری افتتاح شد. همچنین اداره کل میراث فرهنگی همدان در این باغ مستقر است.