La Chapelle Saint-Jacques est vraisemblablement construite à la fin du 15ème siècle à l'initiative des pèlerins se rendant à Saint-Jacques de Compostelle. Son style gothique flamboyant est admirable et une foule de sculptures et de symboles liés au pèlerinage de Compostelle ornent ses murs. La Chapelle se situait à l'angle de la rue des Hôtelleries et de la rue Saint-Jacques (qui n'existe plus). Mais les temps changent et en 1883, sous la mandature de Charles Sanglier, alors maire d'Orléans, il est décidé de construire un grand marché couvert (les Halles Châtelet) et la Chapelle doit être déplacée afin de libérer de l'espace. La façade est alors démontée et reconstruite dans les jardins de l'Hôtel Groslot.

Pèlerinage de Compostelle : Le but est de rejoindre le tombeau de Saint-Jacques situé dans la crypte de la cathédrale de Saint-Jacques-de-Compostelle en Espagne. C'est dès 1492 que ce pèlerinage est officialisé par le Pape Alexandre VI. La Chapelle Saint-Jacques ainsi que la cathédrale d'Orléans constituaient une étape obligatoire.