A partir de aquel momento el feudalismo se acentuó: las tierras del poblado fueron explotadas por parte del cenobio por un lado, y por los ricohombres cercanos al rey Pedro I de Castilla, encabezados por Juan Alfonso de Alburquerque. Esta condición de doble señorío, fue la causa que probablemente marcaría su declive al entrar en conflicto continuado el abad de Matallana con los cortesanos. Al parecer, la despoblación de este núcleo medieval se produjo de forma paulatina durante todo el siglo XIV, vaciándose el barrio de Santa Coloma antes de 1330 y continuando en San Pedro y en el núcleo principal, que pasaría de tener doscientos habitantes (unas 38 o 40 familias) en aquellos años, a sólo tres a principios del siglo XV, considerándose despoblado en 1404, hecho que se deduce de la información contenida en el pleito entre el Abad de Matallana y el concejo de Villalba del Alcor por los pastos.
El profesor Carlos Reglero, infatigable estudioso del medievo en los Montes Torozos y del devenir histórico de Fuenteungrillo, señala el éxodo paulatino hacia lugares más prósperos cercanos como Villalba del Alcor o Montealegre.
A pesar de que en 1407 existe un solar con tres habitantes, lo cierto es que en el repartimiento de pedidos y monedas de la merindad de Campos 1409 Fuenteungrillo ya no figura al estar despoblado. Con todo, sigue apareciendo esporádicamente en la documentación de la época en los años 1427, 1444 y 1457, siendo algunos vasallos y renteros del monasterio los que moraban el paraje, que habría pasado a convertirse en una granja ovina de suministro del monasterio (Reglero y Sáez, 1999: 77), lo que ha podido ser atestiguado durante las excavaciones arqueológicas. Finalmente, en la década de los sesenta del siglo XV, en un contexto de luchas de poder bajo el reinado de Enrique IV, y cercana la guerra civil de Castilla entre isabelinos y beltranejos, doña Inés de Guzmán, duquesa de Villalba, mandó derribar aquellas casas y el palomar de Fuenteungrillo, propiedad de la abadía cisterciense, transformándose el espacio en un pastizal sobre el que se levantaron algunos corrales, de los que era testigo la iglesia de Santa María, en uso hasta el siglo XIX (Reglero y Sáez: 1999, 77) y donde, hasta los años cincuenta, se realizaba una romería en honor de la Virgen de Fuentes (Ponga, 1981).