Mil anys enrere, el que avui és Arenys de Mar era una badia tancada a llevant per les roques del Portinyol, que formaven un port natural. Els voltants eren coberts de boscos d'alzines i roures. La zona era deshabitada a causa dels perills de la costa: ràtzies militars, pirateria…

A partir del segle XIII alguns habitants de Sant Martí d’Arenys, l’actual Arenys de Munt, es van començar a establir a la costa per dur-hi a terme activitats relacionades amb el mar: pesca, construcció de barques i transport marítim a diversos ports del Mediterrani occidental.

Tres-cents anys després, aquest veïnat de la ribera ja tenia més de cent cases, s'havien obert diversos carrers i construït la capella de Sant Elm, a prop d'on hi ha l'església actual. Poc després es van edificar les ermites de la Pietat i del Calvari.

El barri marítim, paral·lelament al seu creixement, va anar adquirit més seguretat, ja que s'hi van alçar diverses torres fortificades. Aquestes torres, que amb el temps arribaran a ser tretze, són defensades per la població civil, i serveixen per alertar de la presència de naus pirates, per refugiar-se i per fustigar durant l'atac amb tota mena d'armes.

Algunes d’aquestes torres de defensa encara es poden veure a Arenys de Mar si passegeu pels carrers més antics de la població.