El Palacio de los Gobernadores es de arquitectura civil y data del siglo XVIII, fue sede de la Comandancia Militar de la zona de Gibraltar hasta el siglo XIX y se dice que muchos de los ataques durante los asedios a la Roca se planearon aquí.
La Plaza de Armas fue en principio la Plaza Mayor, el suelo era de arena y aquí se celebraban los espectáculos taurinos; cuentan que aquí dio el primer pase de muletas Manuel Ballón “El Africano” en 1720.