Estuvo situada en el antiguo pueblo de Carabanchel de Arriba, en la manzana comprendida por las calles de Eugenia de Montijo, Nuestra Señora de Fátima, avenida de los Poblados y la carretera de Madrid a Leganés.
Perteneció primeramente a los Zapata en el siglo XV y a los Miranda (conde de Miranda) posteriormente hasta que pasó a los Montijo.
El palacio era un edificio entre palacio y casón de arquitectura típicamente de los Austrias, con un torreón rematado por un chapitel de pizarra. Tenía un patio central rodeado de un claustro y además del salón contaba con un teatrillo donde Manuela de Teba y Montijo organizaba las famosas sesiones de teatro a las que acudían, entre otros, Stendhal, Próspero Merimée y el duque de Alba, quien se casó con una de sus hijas -Paca-, mientras que la otra -Eugenia- lo hizo con Luis Napoleón Bonaparte.
La finca, que contaba con una plantación de 20.000 árboles, pasó a los duques de Tamames, que la habitaron hasta 1927. Los Tamames, los últimos propietarios del palacio, vendieron la finca a la congregación de Religiosas Oblatas del Santísimo Redentor que utilizaron el palacio como convento-escuela para jóvenes descarriadas, siendo derribado en 1969 y levantado en su solar una urbanización de viviendas. En el resto del solar se construyó el parque de Eugenia de Montijo.