La tradition veut que Saint Restitut de son nom de naissance Sidoine ait été l'aveugle-né de l'Évangile d'où son nom d'usage qui rappelle sa guérison. Miraculeusement venu de Palestine avec sainte Madeleine, saint Lazare, sainte Marthe et quelques autres, il aurait été le premier évêque de l'antique évêché de Saint-Paul-Trois-Châteaux dans la Drôme. Au VIe siècle, on vénère son tombeau dans une église qui est à l'origine du village de Saint-Restitut.

La partie la plus ancienne de l'édifice est constituée d'une tour funéraire du xie siècle sous laquelle aurait été enseveli les restes de saint Restitut, premier évêque (episkopos) du Tricastin, qui serait Sidoine, l'aveugle né guéri par Jésus à la piscine de Siloé (avant qu'il ne changeât son nom lors de son départ de Palestine en mémoire du miracle qui lui restitua la vue). La Tradition chrétienne soutient cette version bien que le premier évêque du Tricastin ne soit attesté qu'à partir du ive siècle (l'évêque saint Paul). Elle est basée principalement sur la Vita de saint Restitut datant du xve siècle. Une église est venue s'accoler à cette tour au milieu du xiie siècle.