L'accès à l'exploitation se faisait par des puits, aussi utilisés pour évacuer les blocs extraits. Ces blocs étaient hissés par un engin de levage installé en tête de puits. Ce vaste réseau de carrières s'étend sous l'ensemble de la place des Moineaux et au-delà; certains de ses embranchements pouvaient rejoindre la rue de l'Hôtel de Ville et peut-être l'ancien couvent des Cordeliers.

A la fin de l'exploitation des carrières, au XIV^e siècle, le site fut réutilisé en cave. De cette époque datent la cave gothique, la cheminée  d'aérage et les 4 escaliers à main.  La cave gothique, élément majeur de la Cave des Moineaux, est une cave voûtée de deux croisées d'ogives séparées par un arc doubleau*. Elle a été la cave d'un particulier. La cheminée d'aérage qui la jouxte laisse à penser qu'elle a pu avoir une activité épicière ou viticole. Le puits de la cave, creusé au XIII^e siècle, était, à l'origine, le seul accès aux galeries de carrières des niveaux inférieurs.

Cette cave fut occupée de façon continue du XVI^e au début du XVIII^e siècle, puis de façon intermittente aux XVIII^e et XIX^e siècles. L'occupation de la cave au XX^e siècle est visible par des trous d'aménagement, de cloisons sur les murs. A partir du XVII^e siècle, les caves furent comblées par divers gravats. La cave des Moineaux a servi de fosse d'aisance, comme en témoignent ses pierres, rongées par l'urine.
C'est au début des années 1980, lorsque la ville voulut créer une voie piétonne en plein centre ville, que l'inventaire des vides souterrains du quartier a été fait et que la Cave des Moineaux a commencé à être déblayée par le Clan Spéléo de Pontoise. Le travail de 300 bénévoles a permis le déblaiement de la cave.