El Palacio de los Gobernadores es de arquitectura civil y data del siglo XVIII, fue sede de la Comandancia Militar de la zona de Gibraltar hasta el siglo XIX y se dice que muchos de los ataques durante los asedios a la Roca se planearon aquí.
Sin duda estas son las calles más pintorescas del casco antiguo. La calle San Nicolás tiene una parte especialmente costumbrista. Se trata del tramo conocido popularmente por Calle de los Escaloncitos.
Calle San Felipe que sube de la Alameda a la Plaza de la Iglesia. Destaca por sus impresionantes y regulares fachadas con balcones y rejas, y por los típicos patios andaluces.
La Plaza de Armas fue en principio la Plaza Mayor, el suelo era de arena y aquí se celebraban los espectáculos taurinos; cuentan que aquí dio el primer pase de muletas Manuel Ballón “El Africano” en 1720.