Docteur en médecine. Il participe aux combats de la Seconde Guerre mondiale et à la Résistance.

Il est maire d'Orléans à partir de 1944 (maire provisoire) puis est confirmé par les électeurs en 1947. Il remplit ce mandat jusqu'à sa mort. Pierre Chevallier se consacre à la reconstruction de sa ville. Au Parlement, il devient un spécialiste de l'urbanisme. Il plaide aussi pour l'aménagement du Val-de-Loire et de son riche patrimoine.
Le 11 août 1951, il est nommé secrétaire d'État à l'Enseignement technique, à la Jeunesse et aux Sports dans le gouvernement René Pleven.