Kaleiçi surları, yaşam alanı olarak kullanılan kentin güçlü bir savunma sistemine sahip olması gerekliliğinin sürdüğü 19. yüzyıl sonlarına kadar önemini korumuştur. Kent, etrafını çevreleyen sur duvarları yanında, kuzeyde Yivli Minare Külliyesi’ni içine alan bir iç sur duvarına ve kenti ikiye bölen bir orta sur duvarına sahiptir.

Kentin kurulduğu Hellenistik Dönem’deki sur sisteminden günümüzde sadece Yat Limanı’nda bazı kısa kesitler izlemek mümkündür. Günümüzde izlenen burçlar ve beden duvarlarının büyük bölümü Roma Dönemi’ne kadar uzansalar da, Bizans Dönemi ile birlikte belirgin bir onarım ve yenileme süreci geçirdikleri saptanabilmektedir. Özellikle İ.S. 7. yüzyılda başlayan Arap ve Pers akınlarına dayanan sur duvarlarına sahip olan Attaleia, İ.S. 10. yüzyılda bir dış duvar ve hendek ile daha da güçlendirilen savunma sistemi sayesinde bölgenin en önemli ve güvenli kenti haline gelir.

Sur duvarlarının ve bazı kulelerin Selçuklu Dönemi’nde kapsamlı bir onarım geçirdikleri anlaşılmaktadır. Bu dönemde özellikle kentin kuzeyinde yer alan iç sur duvarları onarılmış ve kentin Selçuklular tarafından fethini yansıtan kitabelerle donatılmıştır. Osmanlı Dönemi’nin en önemli savunma sistemlerinden biri olan ve Evliya Çelebi’nin 80 kuleli olarak andığı Kaleiçi surlarının 20. yüzyıl başlarına kadar sağlam ve ayakta olduğu anlaşılmaktadır. Kaleiçi sakinlerinin meltem esintisinden yoksun, boğucu bir ortama sahip olduğu yolundaki şikayetleri üzerine dönemin mutassarıfı (vali-kaymakam arası amir) tarafından kısmen yıkılması talimatı verilen sur duvarlarının büyük bir bölümü 1914-1930 yılları arasında ne yazık ki ortadan kaldırılmıştır.