Cité en 1027, Castellum diaboli, comme le « château du diable », parce que construit au sommet d’un site inaccessible. La tour sarrasine est l’emblème de Châteaudouble. C’est ce qu’on aperçoit en premier en arrivant à proximité du village. Si vous la voyez si bien, imaginez l’inverse: oui, les vigies postées dans cette tour de guet voyaient eux aussi très bien, et à plusieurs lieues à la ronde!

Au xiiie siècle, les templiers s'installent dans le village.

Un Rostagni (?-v.1341) était connu pour être seigneur de Châteaudouble (1324) et de La Garde-Freinet (1327). Il reçut donation de l'albergue de ces deux villages.

Au milieu du xve siècle, le village a quitté l’emplacement primitif pour s’installer en appui sur les falaises autour de la nouvelle église dédiée à Notre Dame de l’Annonciation.