Il agrandit son domaine par l'acquisition de plusieurs maisons appartenant à l'abbaye Saint Martin de Pontoise ou à divers particuliers. Il acquit également les jardins plantés sur les anciens fossés, qui devinrent plus tard les jardins de la ville.

La façade de l'hôtel est néoclassique, scandée d’un portique de quatre colonne corinthiennes surmonté d’une balustrade . Le toit de l’édifice est plat. En effet, les édifices de ce style adoptent généralement le modèle antique du portique ; et le style néoclassique est influencé par les formes cubiques et les toits en terrasse des édifices de la Renaissance anglaise influencée par Palladio, architecte de la Renaissance italienne.
Le seigneur de Verville fit construire le portail monumental et aménager l'intérieur avec beaucoup de soin. De riches tapisseries à personnages, composées de six panneaux exécutés à Beauvais d'après les dessins de Boucher et de Fragonard, garnissent les murs du salon. Des consoles supportent des vases de Chine, qui témoignent de l'engouement de l'époque pour la civilisation orientale. L'hôtel a conservé la majorité de son mobilier d'origine (sièges Régence, commode en marqueterie...).

En 1820, la propriété fut vendue à la ville de Pontoise et à partir de 1822, elle devint résidence du sous-préfet puis du préfet de Pontoise. Le bâtiment est classé Monument Historique depuis 1928 et le jardin est inscrit à l'inventaire supplémentaire des Monuments Historiques (1946).