Entre los siglos XIII y XIV se amuralla la alquería de Calp para protegerla de los ataques musulmanes. Su situación costanera hizo que la población sufriera continuos ataques de piratas, por lo que en el s. XVI Carlos V ordenó que se reparasen dichas murallas. Los vecinos accedían a la ciudadela a través de un único portal denominado “El Portalet”.
El más duro de los ataques tuvo lugar en 1637. Los piratas berberiscos invadieron la villa sin ser vistos. Los centinelas dormían y saltaron las murallas utilizando escaleras. Durante ese ataque tomaron cautivos prácticamente a todos los calpinos.
Otro de los ataques más importante que sufrió la villa, y que da origen a sus fiestas patronales, fue el acontecido el 22 de octubre de 1744. Tras este asalto pirata se inició un proyecto para fortificar la villa, y se construye una segunda muralla, que rodea el arrabal y la vieja ciudadela. El “Torreó de la Peça” debe su nombre a un fortín derribado en el s. XX que en su día tenía una pieza de artillería.