Zwischen dem 13. und 14. Jahrhundert wurde Calp ummauert, um es vor muslimischen Angriffen zu schützen. Aufgrund seiner Küstenlage war die Bevölkerung ständigen Angriffen von Piraten ausgesetzt, weshalb Karl V. im 16. Jahrhundert die Reparatur dieser Mauern anordnete.
Die Bewohner gelangten über ein einziges Portal namens "El Portalet" in die Zitadelle. Der schwerste Angriff ereignete sich im Jahr 1637. Die Berberpiraten fielen unbemerkt in die Stadt ein. Bei diesem Angriff nahmen sie praktisch alle Calpines gefangen.
Ein weiterer der schwerwiegendsten Angriffe, denen die Stadt ausgesetzt war und die ihre Schutzheiligenfeierlichkeiten auslösten, ereignete sich am 22. Oktober 1744. Nach diesem Piratenangriff wurde ein Projekt zur Befestigung der Stadt in Angriff genommen. und eine zweite Mauer wurde gebaut, die den Vorort und die alte Zitadelle umgibt. Der "Torreó de la Peça" verdankt seinen Namen einer im 20. Jahrhundert abgerissenen Festung, die seinerzeit über ein Artilleriegeschütz verfügte.