Varios propietarios lo arrendadas de los propietarios reales y el dominio fue objeto de especulación frenética durante el siglo XX. Para entonces, el antiguo pueblo de eye cross había caído desde hace mucho tiempo en la caries, y la zona era mayormente páramo. necesitando dinero, James vendí parte de la corona de la corona, pero retuvo parte del sitio en el que estableció un jardín de morera de 4 ACRES (16,000 m2) para la producción de  seda. (esto es en la esquina noroeste del palacio de hoy.) Clement Walker en anarchia anglicana (1649) se refiere a los nuevos sodomas y spintries en el jardín de morera en s. James ' s; esto sugiere que puede haber sido un lugar de libertinaje. con el tiempo, a finales del siglo 17, la freehold fue heredada del magnate de la propiedad sir hugh audley por la gran heredera Mary Davies.
Qué produjo el jardín de morera?
 seda.