మాడ్రిడుకు వాయువ్య దిశలో ఉన్న సియెరా డి గ్వాడారామా పర్వత ప్రాంతంలో ఉన్న గొప్ప రాజభవనం, ఆశ్రమం ఎల్ ఎస్కోరియల్ రెండవ ఫెలిపే గొప్ప శాశ్వత వారసత్వం కలిగి ఉంది.
రెండవ ఫెలిపే రాజభవనాన్ని, ఆశ్రమాన్ని పెద్దగా పట్టించుకోలేదు, ఆయన ఎక్కువ సమయాన్ని నగరంలోనే గడిపాడు.