Le château a été construit au XIe siècle par les seigneurs de Fos. Les vestiges offrent un bel exemple de l'architecture militaire du XIIIe siècle. Il fut en partie détruit sur ordre d"Henri IV et démantelé par Louis XIII en 1620.

En 1192. lldefons 1er (Alphonse II le chaste Raymond d'Aragon 1157-1196) , comte de Provence et de Forcalquier envoya ses troupes pour s'emparer a l'improviste du château d'Hyères. En effet, sous le prétexte d'alliance et d'amitié, elles prirent d'abord logement en ville et s'emparèrent de la forteresse de quoi les habitans d'Hyères furent bien surpris ajoute naïvement l'historien chez lequel nous puisons ce fait. Toutefois ils se hâtèrent de dépêcher un exprès à Marseille, pour en avertir leur seigneur Amelin de Foz (Amiel II de FOS 1133-1202), appelé communément le grand .Marquis.

A cette nouvelle celui-ci partit sur le champ de Marseille, où il séjournait d'habitude, et, suivi de quelques troupes levées en hâte sur ses terres ou dans celles des vicomtes ses parents se porta rapidement, accompagné de ses deux enfants Roger d'Hyères et Bertrand de Foz vers la ville envahie dont les habitants lui étaient dévoués et avaient pris les armes en sa faveur. Il eut peu de peine à y rentrer, les gens du comte de Provence ayant- été forcés de se réfugier dans la citadelle.

Leur position devint désespérée, car Amelin poussait le siège avec célérité et vigueur. Ildefons averti rassembla des troupes et vint présenter la bataille à son faible mais courageux adversaire. Amelin, fort de son bon droit et du dévouement de ses vassaux accepta le combat, sortit de la ville et défit les troupes du prince catalan forcé lui même de prendre la fuite, devant un de ses sujets. La garnison, pressée plus vivement et sans espoir d'être secourue ne tarda point à rendre la place.

En 1254, Saint-Louis, de retour de la Septième croisade, avec 14 navires, débarque à Hyères, avec son épouse Marguerite de Provence et ses trois enfants, après 2 mois et demi de traversée. Il est reçu par Bertrand et Roger de Fos, et se repose quelques jours.

En 1257 : Charles Ier d'Anjou revendique la possession de Hyères et des îles, prétextant qu'Alphonse II, l'arrière-grand-père de sa femme Béatrice de Provence, avait été chassé du château en 1192 par la famille de Fos. Pons de Fos premier seigneur de Hyéres avait acquit ce titre en combattant les Sarrasins au côté de Guillaume le Libérateur en 970. Cela n'empêcha nullement Charles d'exiger de Roger d'Hyères, son frère Bertrand de Fos, et leur sœur Mabille qu'ils évacuent le château d'Hyères, mais en échange, il leur cède vingt-deux villes et villages, ainsi que la seigneurie de Bormes.

En 1348, Charles II d'Anjou reçoit la reine Jeanne.