Las primeras noticias de la finca que ocupa el Colegio Santa Cruz, actual desde de Secundaria y Formación Profesional Básica del Colegio La Milagrosa, se remontan a finales del siglo XV cuando formaba parte del mayorazgo fundado en 1469 por Constanza de Aponte, viuda de Ruy Sánchez Zapata, junto con los terrenos de la conocida posteriormente como Quinta de Miranda o de Montijo. A finales del siglo XVI la finca pasó a ser propiedad de la familia Cárdenas Zapata. En 1628 la vendieron a Manuel Chacón de Figueroa. En 1640 fue comprada por el político Bartolomé Morquecho de Castro-Otañez y su esposa Francisca de Sandoval Rojas y de la Cerda, pariente de las Casas ducales de Lerma, Infantado y Medinaceli, con la intención de transformar la finca agrícola en casa de campo.

A mediados del siglo XVII María Josefa de Ethenard, esposa de Diego Portocarrero, pasó a ser la propietaria de la quinta. En esa época en la finca había un casa principal frente la parroquia de San Sebastián, un jardín, huertas, un estanque, una noria, una casa pequeña con cochera, caballeriza y un pajar.

A mediados del siglo XVIII la quinta era propiedad de Manuel Isidro de Orozco, Arzobispo de Santiago de Compostela, Inquisidor General, hijo de los terceros marqueses de Mortara y pariente de los Condes de Miranda, que realizó mejoras en la casa, la huerta y el jardín. La quinta, la de mayor interés según el Catastro del Marqués de Ensenada en 1750, la heredó su sobrina Ana María de Orozco y Villela, V Marquesa de Mortara. La quinta permaneció en poder la familia de los sucesivos Marqueses de Mortara hasta que la adquirió por subasta el comerciante Francisco Javier Albert en 1839. Albert la vendió en 1848 a la viuda de su hermano María Antonia Lelièvre, la cual poseía una finca en la calle Sombra.

En 1851 María Antonia Lelièvre vendió la finca y sus casas en Carabanchel Bajo por 200.000 reales de vellón al político e historiador Antonio Benavides, Ministro de la Gobernación en dos ocasiones. La quinta era la tercera más importante en extensión en Carabanchel Bajo después de las fincas de Vista Alegre y la de Jaime Ceriola, situada donde actualmente está el Parque de la Patilla. En 1861 Benavides vendió la finca al banquero y político gaditano Carlos Jiménez Gotall.

En 1885 el Marqués de Casa-Jiménez cedió la mitad de su finca carabanchelera a una Junta de Patronos presidida por el abogado y escritor Manuel Silvela (antes estuvo presidida por el Marqués de Salamanca) para la fundación de un reformatorio para «jóvenes viciosos» que recibiría el nombre de Escuela de Reforma Santa Rita. El reformatorio comenzó a ser gestionado por los Terciarios Capuchinos de Nuestra Señora de los Dolores desde octubre de 1890.

El Marqués de Casa-Jiménez se enteró de que la Real Asociación de Beneficencia de la Parroquia de Santa Cruz buscaba un terreno para construir un colegio de huérfana de su parroquia El 22 de junio de 1889 el Marqués firmó la cesión de la otra mitad de su finca donde exigió mantener el uso de la propiedad como colegio-asilo o de beneficencia o caridad. El 7 de mayo la reina regente María Cristina de Habsburgo el Colegio-Asilo Santa Cruz que desde entonces está administrado por las Hijas de la Caridad.