El edificio eclesiástico está situado en los llamados campos de Carabanchel, unas tierras que pertenecieron a Juan de Vargas, patrón que contrata a San Isidro como pocero y labrador, junto al manantial que el santo había hecho brotar milagrosamente para dar de beber a su amo y que la tradición popular atribuye propiedades curativas.
Carecemos en la actualidad de documentación que certifique la fecha de construcción de la primera ermita, pero conocemos los primeros testimonios de su existencia en 1499, gracias a los libros de visitas eclesiásticas conservados en la Real Iglesia de San Andrés Apóstol.
En 1528 la emperatriz Isabel de Portugal, esposa de Carlos V, agradecida por la sanación del monarca y su hijo don Felipe, futuro rey Felipe II, tras ingerir estas aguas, ordena erigir un nuevo santuario junto a la fuente en honor a San Isidro Labrador.
Posteriormente, en 1605, Cristóbal de Urgel encarga levantar una capilla junto al altar mayor de la Ermita para enterrarse con sus familiares, el retablo mayor, la sacristía y otra serie de mejoras.
En 1724 el virrey de Nueva España, Baltasar de Zúñiga, manda rehacer el Oratorio debido al estado ruinoso de la edificación. Este pequeño Santuario de cúpula hexagonal, cubierto de pizarra, coronado por una linterna, sufre un incendio en 1936 y la Archicofradía de San Pedro, San Andrés y San Isidro se ocupa de su reconstrucción entre 1940 y 1941, según el modelo de 1724.
El 15 de mayo, día del santo patrón de la capital San Isidro Labrador, el cardenal arzobispo de Madrid oficia la popular misa de campaña en la explanada cercana a la Ermita a la que asisten cada año mayor número de personas. Los madrileños conmemoran la festividad con una romería en los alrededores del Santuario, beben del agua de su fuente milagrosa y a menudo comen en las inmediaciones. Durante ese tiempo se venera la reliquia y se celebran diversos oficios litúrgicos. Es considerada una de las verbenas más populares y castizas de Madrid.