Entre els s. XIII i XIV es va emmurallar l’alqueria de Calp per protegir-la dels atacs musulmans. La seua posició costanera va fer que la població patís atacs de pirates constantment, per la qual cosa al segle XVI, Carles V va ordenar que es reparessin les muralles. Els veïns accedien a la ciutadella a través d’un únic portal denominat “El Portalet”.
L’atac més greu va ser el que es va produir l’any 1637. Els pirates berberiscos van envair la vila sense ser vists. Els vigilants dormien i van pujar les muralles utilitzant escales. En aquest atac van prendre captius a quasi tots els habitants de Calp.
Un altre atac important que va patir la vila i que va originar les seues festes patronals va ser el que va transcórrer el 22 d’octubre de 1744. Després d’aquell atac pirata es va començar un projecte amb l’objectiu de fortificar la vila i es va construir una segona muralla que envoltava l’arrabal i la vella ciutatella. El “Torreó de la Peça” pren el seu nom d'un fort derribat el s. XX, que en el seu temps contenia una peça d’artilleria.