C'est un des rares monuments civils (avec la porte Cailhau) que la ville conserve du Moyen Âge. Elle a été restaurée du 4 au 22 juillet 2016. Elle a été édifiée au xve siècle sur les restes de l'ancienne Porte Saint-Éloy (dite aussi porte Saint-James) du xiiie siècle (adossée à l’église Saint-Éloi du xiie siècle), ouverte sur le rempart du xiiie siècle et sous laquelle passaient les pèlerins de Saint-Jacques en route pour Compostelle. D'où le nom de la rue Saint-James voisine, Saint James étant le nom gascon de Saint Jacques.

Toutes les modifications successives effectuées entre le XVe et le xviie siècle transformèrent la physionomie primitive de cette porte devenue beffroi, le clocher du ban communal lui ayant été adjoint dès le xve siècle.