Mil años atrás, lo que hoy es Arenys de Mar era una bahía cerrada en levante por las rocas del Portinyol, que formaban un puerto natural. Los alrededores estaban cubiertos de bosques de encinas y robles. La zona estaba deshabitada a causa de los peligros de la costa: militares y piratas.

A partir del siglo XIII algunos habitantes de Sant Martí d'Arenys, el actual Arenys de Munt, empezaron a establecerse en la costa para hacer sus trabajos relacionados con el mar: pesca, construcción de barcas y transporte marítimo a diversos puertos del Mediterraneo occidental.

Tres siglos después, este vecindario de la ribera ya tenía más de cien casas, se habían abierto calles y construido la capilla de Sant Elm, cerca de donde está hoy la iglesia actual. Poco después se construyeron las ermitas de la Pietat y del Calvario.

El barrio marítimo, paralelamente a su crecimiento, fue adquiriendo más seguridad, ya que se alzaron diferentes torres fortificadas. Estas torres, que con el tiempo llegaron a ser trece, son defensadas por la población civil y sirven para alertar de la presencia de naves piratas, para refugiarse y para fustigar durante el ataque con todo tipo de armas.

Algunas de estas torres todavía pueden observarse en Arenys de Mar si paseais por las calles más antiguas de la población.