El Museu Marès de la Punta està situat en un edifici que data del segle XVII i que durant molts anys va albergar l'Hospital de Sant Jaume, un centre sanitari per als pobres de la vila. En aquest edifici, a final del segle XVIII i a l’inici del segle XIX, s'havia ensenyat a fer treballs d'agulla i puntes al coixí. Durant la primera meitat del segle XX l'edifici va ser ocupat per diferents ordes religiosos i posteriorment va ser utilitzat com a magatzem municipal. L'edifici, de tres plantes, té una façana típica de l'arquitectura civil del segle XVIII. A la planta baixa es troba l'espai de l'antiga capella i un petit pati interior.

El Museu Mollfulleda de Mineralogia està situat en el que va ser la primera escola nàutica d'Espanya l'any 1779, fundada per Josep Baralt. Es tracta d'un edifici de dos cóssos i tres plantes, construït a final del segle XVIII, que conserva la porta d'entrada amb brancals i llinda de pedra. L'edifici es troba a cinc metres del Museu Marès de la Punta.