Trabzon Kalesi, Yukarı Hisar, Orta Hisar ve Aşağı Hisar olmak üzere üç bölüme ayrılmıştır. Yapı, yazılı kayıtlarda MÖ 786 yılında Miletoslar tarafından kurulduğu belgelense de araştırmacılar tarafından daha eski yıllara tarihlendirilmektedir. Ancak kalenin tespit edilebilen en eski yapı malzemesi ve işçiliği Roma Dönemi'ne aittir. Günümüzde Aşağı Hisar surlarının tamamına yakını, Orta Hisar surlarının büyük bir bölümü, Yukarı Hisar surlarının bir kısmı yıkılmıştır.

Trabzon Kalesi, Kuzgun Dere ve Zağnos Vadisi arasında denizden Bahçecik Mahallesine kadar olan alanda kurulmuştur. Trabzon Kalesi, Yukarı Hisar/İç Kale, Orta Hisar ve Aşağı Hisar adı verilen üç bölümden oluşur. Ancak eski Trapezus’u oluşturan bölümlerin Yukarı Hisar (Akropol/İç Kale) ve Orta Hisar olduğu, Aşağı Hisarın bunlara Komnenos Döneminde eklendiği söylenmiş olsa da 2022 yılında Pazarkapı’da yapılan arkeolojik kazılar Roma Dönemi'nde de burada sur yapısının olduğunu göstermiştir. Şehrin ilk kuruluşunun M.Ö. 2000'li yıllarda olduğu kabul edilir, ancak somut verileri M.Ö. 750’li yıllara aittir. 2021 yılında yapılan arkeolojik kazılarda ortaya çıkan somut buluntular da göz önünde bulundurulduğunda Trabzon’un sırasıyla Helenistik, Roma, Bizans, Komnenos ve Osmanlı medeniyetlerine ev sahipliği yaptığı tespit edilmiştir. Sur/Kale içi aynı zamanda tarihi Trabzon’un kent merkezidir. Fakat, Yukarı Hisar ya da Kule Hisar olarak da anılan İç Kale konumu ve yapısal özellikleri nedeniyle bütün dönemlerde idare merkezi durumundadır. Orta Hisar geç dönem Osmanlı zamanında idare merkezi olmakla birlikte üst sınıf için iskân yeri olmalıdır. Aşağı Hisar ise II. Aleksios zamanında, 1319-1324 yılları arasında bugünkü şeklini almıştır. Ancak 2022 yılında Kuzgundere Vadisinin Pazarkapı mevkiinde yapılan arkeolojik kazılarda Komnenos Dönemi surlarının tabanında Roma dönemine ait sur yapısı olduğu tespit edilmiştir. Aşağı Hisarın/şehrin deniz kıyısında olması ve önünde Roma İmparatoru Hadrianus Döneminde (M.S. 117-138) yapılmış bir antik limana sahip olması sur içi şehrin bu bölümünü ticaret merkezi konumuna getirmiştir. 

Trabzon kurulduğu tarihten itibaren stratejik konumu nedeniyle sürekli ele geçirilmek istenmiş, pek çok kez kuşatılmış, el değiştirmiş ve büyük yıkımlar yaşamıştır. Ancak şüphesiz en büyük yıkım 276 yılındaki Got İstilası sırasında olmuş ve çifte surlu şehir yerle bir edilmiştir. 6. Yüzyılda, Bizans İmparatoru Justinianus Devrinde (527-564) yeniden imar edilen şehir Komnenoslar Döneminde tıpkı Bizans’taki Konstantinopel gibi bir sur içi başkent özelliğine bürünmüştür. Halen sur duvarlarında görülebilen farklı yapılaşmalar, Komnenos Döneminde artan kuşatmalar nedeniyle şehri koruyan sur duvarlarında sürekli bir yenileme ve tahkimat yapıldığının kanıtıdır.  

Osmanlı Dönemi'nde sur duvarları ve kapılarında yapılan onarımlar oldukça fazladır. Zira Trabzon kalesinin pek çok kez tamir edildiği gerek sur duvarlarının yapısal özelliklerinden, gerekse arşiv belgelerinden anlaşılmaktadır. Bu onarımlardan özellikle klasik devirde yapılanları çok önemlidir. Somut verilere göre Trabzon Kalesi'nde Klasik Osmanlı Dönemi'nde iki ayrı onarım ya da yenileme yapılmış olup her ikisi de kitabeler ile sabit durumdadır. Bunlardan ilki Sultan II. Bayezid devri Şehzade Selim'in valilik döneminde H.897-M.1491/1492, ikincisi ise Kanuni Sultan Süleyman devrinde Mirza Muhammed bin Gazi Bey’in valiliği zamanında H.948-M.1541 yıllarına aittir. Bu iki tamir ve yenileme işinden başka onarımların 18. yüzyıl sonlarına kadar devam ettiği görülmektedir.