La historia de la Pointe des Châteaux comienza con el desarrollo humano inicial con la instalación de tribus de indios arawak en el año 300 d.C. Permanecieron allí cerca de 11 siglos, hasta el año 1400, según los vestigios encontrados en la región.
El lugar no tiene ningún castillo digno de ese nombre. El origen del nombre proviene del establecimiento de la comunidad religiosa de los capuchinos que, en 1683, creó una parroquia llamada la Parroquia de los Castillos.
Un sendero conduce a la 'Gran Cruz', situada en la cima de la Pointe des Châteaux. Desde allí, se ofrece un magnífico panorama.