C'est sous le Second Empire, en 1859, qu'est lancé le projet de construction d'un bâtiment spécifique pour la préfecture et le conseil général de Seine-et-Oise, aujourd'hui des Yvelines, hébergés jusqu'alors dans les bâtiments de l'hôtel du Garde-Meuble. Un concours, mesure peu courant à l'époque, est lancé sur un programme précis incluant archives départementales et gendarmerie. Le lauréat, Amédée Manuel, commence les travaux en 1863 et l'inauguration a lieu en 1867.

Cadre de nombreux événements politiques de première importance, l'édifice se déploie entre cour et jardin: le principe général de composition obéit à celui de l'hôtel particulier s'intégrant parfaitement dans l'harmonie versaillaise. La sobriété rationnelle du grand style à la française est adaptée aux besoins de l'administration publique. Les pièces de prestige, dans le corps principal, offrent au visiteur un décor où «l'art de Versailles», remis à l'honneur sous Louis-Philippe, triomphe. Plafonds ornés, frises variées et mobilier témoignent d'une élégance où le talent des artistes offre un bel exemple de l'art de la fin du XIX^e siècle.