شهر اول در محدوده قلعه پرتغالی‌های فعلی در جنوب غربی شهر کنونی قرار داشته که هم‌اکنون در زیرخاک مدفون است. کنگ دوم در نزدیکی خورسور در شرق شهر فعلی قرار داشته و بر اساس متون تاریخی شهر در این دوره پررونق و آباد بوده است.

بعد از ویرانی کنگ دوم، هسته این شهر به قسمت شمالی شهر فعلی، که امروزه هوجا نامیده می‌شود، انتقال می‌یابد و کنگ سوم در این منطقه رونق می‌گیرد.

رفته‌رفته هسته تاریخی شهر از منطقه هوجا به مجاورت شهر کنگ در دوره اول بازمی‌گردد و شهر در این نقطه شروع به رشد و گسترش می‌کند و درنهایت کنگ امروزی مابین منطقه کنگ دوم و چهارم بنا می‌شود و از جهات مختلف گسترش می‌یابد.

کنگ پنجم یا شهر تاریخی امروز با قدمتی بیش از 400 سال دارای بافتی سالم، پویا، سرزنده و ارزشمند بوده وزندگی در آن جاری است.