L'emplacement était sous Louis XII domaine du Roi. En 1536, Guillaume Toutin, Valet de chambre du Dauphin devint possesseur du terrain. L'Hôtel s'élèvera en 1540. Ce petit palais a été habité par Anne de Pisseleu, duchesse d'Etampes, nièce d'Antoine Sanguin, évêque d'Orléans depuis 1539 et maîtresse de François 1er. La duchesse d'Étampes est l'un des personnages du roman d'Alexandre Dumas, Ascanio ou l'Orfèvre du roi.