Comme d’autres rues de ce quartier, cette rue portait auparavant deux noms : Entre le quai Barentin et la rue Croix de Bois c’était la rue du Cours aux Anes, et entre la rue Croix de Bois et la rue des Carmes c’était la rue des Charretiers. L'origine du nom reste incertaine.

La rue du Cours aux Anes était une promenade plantée d'arbres. Un marché aux bêtes de somme s'y tenait.