Jean Boyer, connu sous le nom de frère Liborius, dirige de l'école de 1905 à 1932, et fait construire, au début du 20ème siècle, de nouveaux bâtiments le long de la rue. D'autres sont construits dans le retour d'angle après la Seconde Guerre mondiale. À cette époque, l'école scolarise en internat une centaine de garçons sourds. Un grand parc se trouve à l'arrière. En 1981, les frères de Saint-Gabriel se retirent.

En 2013, l'association de patronage de l’institution régionale des jeunes sourds d’Orléans qui gère l'école fait construire du côté sud une extension pour polyhandicapés (pas uniquement sourds) et vend le parc à un promoteur immobilier qui y construit des immeubles résidentiels. Les bâtiments constituant le noyau originel de l'école et la chapelle sont également vendus.