Zelfs in de prehistorie waren er waarschijnlijk nederzettingen in de regio, veel hunebedden zijn de overblijfselen uit die tijd. In die tijd was de haven belangrijk voor het nabijgelegen stadje Elne. In het jaar 673 werd reeds gesproken over het koninklijke kasteel, dat de havenbaai beschermde. Tegenwoordig staat hier een prachtige versterkte kerk, de toren werd ooit gebruikt als een vuurtoren.
Ook later stond het kasteel altijd in het middelpunt. Het was een twistappel, werd herbouwd met een citadel door de Spaanse koningen en versterkt door het Fort St. Elme. Waarschijnlijk was er ooit een tweede kasteel in Collioure gebouwd door de Tempeliers.
Onder de bezienswaardigheden bevindt zich de oude versterkte kerk Notre-Dames-des-Anges, die tussen 1684 en 1691 werd gebouwd op de plaats van de luskerk in de bovenstad. Het kleine eiland Ilot St-Vicent met zijn kapel en de vuurtoren behoren ook tot de historische bezienswaardigheden die vaak worden bezocht. Het Château Royal, het koninklijke kasteel gebouwd door Vauban, scheidt de haven van Port d'Amont van Port d'Avall. Ondergrondse gangen, weergangen en het exercitieplein kunnen hier worden bezocht. Als u wilt, kunt u ook de 16e-eeuwse gevangenis, de 13e-eeuwse kapel en zelfs de slaapkamer van de koningin zien.
