La cave du presbytère est constituée de deux travées irrégulières ; la seconde travée est plus petite que la première. Cette cave est voûtée de deux croisées d'ogives séparées par un arc doubleau. Bien que de facture médiévale, elle n'est pas datée précisément. En effet, ce type de construction est couramment employé à Pontoise entre les XII^e et XVII^e siècles.
La chapelle de la cave du presbytère a été aménagée lorsque le presbytère est installé, au XX^e siècle, dans la maison située au-dessus. La galerie circulaire souterraine qui suit est taillée dans le roc. Elle servait de carrière. Un passage devait permettre d'accéder à une carrière bien plus vaste d'environ 200 m². L'exploitation se situait à moins de 15 m du niveau de la rue de l'Hôtel de Ville. Mais les galeries et carrières situées sous la rue de la Bretonnerie sont en partie comblées.