Tussen de 13e en 14e eeuw werd Calp ommuurd om het te beschermen tegen islamitische aanvallen. De ligging aan de kust zorgde ervoor dat de bevolking voortdurend werd aangevallen door piraten, dus in de 16e eeuw gaf Karel V opdracht om deze muren te repareren.
De bewoners hadden toegang tot de citadel via een enkel portaal genaamd "El Portalet". De zwaarste aanval vond plaats in 1637. De Barbarijse piraten vielen de stad binnen zonder gezien te worden. Tijdens die aanval namen ze vrijwel alle Calpines gevangen.
Een andere van de belangrijkste aanvallen die de stad te verduren kreeg en die aanleiding gaf tot de festiviteiten van de beschermheiligen, vond plaats op 22 oktober 1744. Na deze piratenaanval werd een project gestart om de stad te versterken. en er werd een tweede muur gebouwd die de buitenwijk en de oude citadel omringt. De "Torreó de la Peça" dankt zijn naam aan een in de 20e eeuw gesloopt fort dat destijds een artilleriestuk had.