La rue est créée en 1488. Son nom lui vient d'une ancienne rue située dans le domaine du Cloître Saint-Avit. Dans cette rue, on accède à la crypte de Saint-Avit.

C'est en 1834, que naquit le premier ancêtre direct du Conservatoire. Il prit pour nom : Institut musical d'Orléans. Son objectif était d'organiser des concerts et d'enseigner la musique. Les concerts avaient lieu dans un ancien Jeu de paume, rue Serpente. Devant le succès des concerts donnés à l'Institut, la salle devint vite trop petite et la construction d'un bâtiment approprié fut décidée : Ce sera la Salle de l'Institut, place Sainte-Croix.