A partir du 18ème siècle, vieillissant, subissant les assauts de la Loire en 1732, le château est peu à peu démantelé et délaissé. Si autrefois cette forteresse défendait le pont des tourelles, elle devient inutile lorsque le pont Royal sera construit en 1760 et le pont des tourelles détruit. Devenu obstacle à la circulation, en 1796 il sera vendu à l'architecte Benoît Lebrun afin de permettre la création su Quai du Châtelet. Les travaux de réhabilitation et de percement des rues du quartier se termineront en 1804. La parcelle sera revendue pour y construire un immeuble en 1912.

Au 20ème siècle le bâtiment abritera la Bourse du Travail pour, après d'importants travaux de construction et d'élévation de la toiture, devenir un bel hôtel : L'Empreinte Hôtel.