Son père, Pierre Douffiagues est un ancien inspecteur des finances. Il étudie aux lycées Montaigne et Louis-le-Grand de Paris.
Conseiller référendaire à la Cour des comptes, il est nommé par le préfet Paul Masson chef de la mission régionale à Orléans en 1971. En 1976, il devient directeur de cabinet de Jean-Pierre Soisson, alors secrétaire d'Etat.
Il entre en 1978 au conseil municipal d'Orléans.
En 1980, il devient maire d’Orléans après le décès de Gaston Galloux en cours de mandat.