Entre els segles XIII i XIV s'emmuralla l'alqueria de Calp per protegir-la dels atacs musulmans. La seva situació costera va fer que la població patis continus atacs de pirates, per la qual cosa al segle XVI Carles V va ordenar que es reparessin aquestes muralles.
Els veïns accedien a la ciutadella a través d'un únic portal anomenat "El Portalet”. El més dur dels atacs va tenir lloc el 1537. Els pirates barbarescos van envair la vila sense ser vistos. Durant aquest atac van prendre captius prácticament tots els calpins.
Un altre dels atacs més important que va patir la vila, i que dóna origen a les seves festes patronals, va ser l'esdevingut el 22 d'octubre del 1744, Després d'aquest assalt pirata es va iniciar un projecte per fortificar la vila, i es construeix una segona muralla, que envolta el raval i la vella ciutadella. El Torreó de la Peça deu el seu nom a un forti enderrocat al segle XX que al seu dia tenia una peça d'artilleria.