On peut y voir un somptueux portail d'entrée, qui ouvre sur une cour intérieure pavée, avec corps de bâtiment, symétrique, la façade est rythmée de hautes fenêtres et flanquée de deux pignons, l'escalier d'honneur et son beau garde-corps en fer forgé confèrent à l'ensemble une grande majesté.

L'empereur Napoléon (2 avril 1808) et Adolphe Thiers (7 novembre 1870) y ont chacun été hébergés au moins une nuit. Lors de son séjour, le 2 avril 1808, Napoléon en profite pour dépouiller les économies de la municipalité. Le Palais a vu aussi le passage de l'impératrice Joséphine, Charles IV d'Espagne, la reine Hortense et même le petit roi de Rome.

En 1899, une statue équestre de Jeanne d'Arc en bronze d'Armand Le Véel est érigée dans la cour d'honneur. Avec l'intervention de la loi de séparation des Églises et de l'État, le palais perd sa fonction de résidence. La municipalité manifeste alors son intention de le racheter à l'État pour y installer sa bibliothèque municipale. Le projet est toutefois retardé par la Première Guerre mondiale, pendant laquelle le bâtiment abrite un hôpital militaire. En 1919, le palais épiscopal est racheté par la ville d'Orléans et la bibliothèque municipale y est installée. La grande salle du premier étage devient salle de lecture en 1927.

Après des projets d'agrandissement sur place qui n'aboutissent pas, la bibliothèque est transférée en 1994 dans une nouvelle médiathèque construite place Gambetta.  Ce magnifique bâtiment abrite désormais le Centre international universitaire pour la recherche.