Les Célestins d'Ambert, dont le prieuré était installé dans la forêt sur la commune de Chanteau, possédaient à Orléans une maison de refuge, le petit Ambert (26,ter rue de la Poterne), acquise en 1363. 

En 1779, à la suppression du prieuré, cette maison fut vendue. Les Petites-Sœurs-des-Pauvres l'occupèrent de 1855 à 1870. La maison sera démolie en 1973.