Entre le XIIIe et le XIVe siècle, Calp fut fortifiée pour la protéger des attaques musulmanes. Sa situation côtière signifiait que la population souffrait d'attaques constantes de pirates, c'est pourquoi, au XVIe siècle, Charles Quint ordonna la réparation de ces murs.
Les habitants accédaient à la citadelle par un portail unique appelé "El Portalet". La plus dure des attaques eut lieu en 1637. Les pirates barbaresques envahirent la ville sans se faire remarquer. Au cours de cette attaque, ils ont capturé pratiquement tous les Calpines.
Une autre des attaques les plus importantes que la ville a subies et qui a donné lieu à ses fêtes patronales est celle du 22 octobre 1744. Après cet assaut de pirates, un projet de fortification de la ville a été lancé. et un deuxième mur fut construit, qui entoure le faubourg et l'ancienne citadelle. La "Torreó de la Peça" doit son nom à un fort démoli au XXe siècle qui possédait à l'époque une pièce d'artillerie.