Construite sur un ancien couvent place Saint-Charles à proximité des quais de Loire.
Dès 1790, la Maison Saint-Charles devient tour à tour, maison d'arrêt, caserne et prison militaire pour Autrichiens et Anglais pris les armes à la main. A partir de 1815, la caserne est occupée par les Régiments Suisses de la Garde Royale. Occupée par les gendarmes durant la deuxième guerre mondiale puis par une compagnie de CRS à partir de 1945 (la CRS 51), elle est démolie en 1977 et remplacée en 1980 par la Caisse d’Allocations Familiales.