Il épousa en 1763, Madeleine Monique Seurrat de La Barre, fille d'un riche négociant raffineur orléanais. Il eut entre autres, un fils - Étienne Augustin Tassin de Charsonville, chevalier d'Authon et dirigeant de la société "Tassin-Baguenault, Raffineurs". Mais les raffineries familiales fermeront en 1820 à la suite du blocus anglais qui eut pour effet de bloquer l'approvisionnement de canne à sucre. C'est à ce moment que la canne fut remplacée par la betterave sucrière et il hérita en 1824 de la seigneurie du Coudray en Beauce.

Sa résidence à Orléans était située rue d'Escures, dans l'hôtel voisin du siège actuel de l'agence de la Caisse d'épargne, résidence de son cousin Charles François Tassin de Charsonville, appelée : la Grande Babylone. 

Ses résidences de campagne furent le petit château de Charsonville, anciennement propriété de la famille de Montgommery puis des ducs de Lorge, et le château de La Renardière situé sur la commune de Baccon. Au xixe siècle, sa descendance fit construire le château du Bailly à Mézières-lez-Cléry, de Style Restauration, et le château de Montambert à Vannes-sur-Cosson, de Style néo-classique.

Le 16 août 1789, 88 moissonneurs veulent se saisir de lui à la sortie de messe de l'église de Baccon. Il se réfugie au Château de la Touanne chez ses amis Bigot de La Touanne et moyennant 1 200 livres, il est libéré. Les 88 brigands sont arrêtés et jugés par la Prévôté d'Orléans. Certains sont condamnés à la pendaison, d'autres aux galères. Prosper Augustin de Charsonville part à Versailles et obtient du roi Louis XVI la grâce de ses agresseurs. Il retourne à Orléans et se rend ensuite dans les prisons pour annoncer la nouvelle aux condamnés.

Avec son cousin Charles François Tassin de Charsonville (1723 - 1804), Prosper Augustin constitua également une collection de tableaux, non seulement grâce au soutien de leur cousin peintre, Aignan-Thomas Desfriches, mais également parce qu'Orléans de par sa prospérité, devint une place intellectuelle et artistique importante dans le royaume. Nombre de ces œuvres ont été léguées par leurs descendants au musée des Beaux-Arts d'Orléans.