La propriété fut occupée par Paul François Pihan de la Forest (1739-1810), éminent magistrat du XVIII^e siècle, qui fut subdélégué de Pontoise sous l’autorité de l’intendant de la généralité de Paris, pendant la Révolution, puis procureur impérial du tribunal de Pontoise sous le premier Empire. Pihan de la Forest était historien local et grand collectionneur d’archives. Le fonds Pihan de La Forest est une source essentielle pour connaître l’histoire de Pontoise sous l’Ancien Régime. Il est conservé aux Archives municipales.

Cette propriété privée présente un des édifices souterrains les plus intéressants de Pontoise par son ampleur : salle de 50m², voûte de 6m de haut.
La salle principale, située au deuxième niveau, est constituée de trois travées voûtées sur croisées d’ogive, dont les arcs reposent sur un pilier central. On peut apercevoir, au fond de l’alcôve située à gauche de l’angle des deux salles, un escalier « à main » qui devait déboucher dans ce qui est aujourd’hui le jardin privé de cette demeure. Cet escalier est actuellement en grande partie comblé par des vestiges datant de la démolition de l’hôtel particulier vers 1869. Un bel escalier « à main » ouvragé de vingt et une marches permet d’accéder au troisième niveau, ancienne exploitation de carrière.