1015 beauftragte der Papst die aufstrebende Seemacht Pisa, Elba vor den Angriffen der Sarazenen zu schützen. Die Pisaner errichteten in der Folge viele noch heute vorhandene Befestigungsanlagen und Wachttürme; zudem erbauten sie verschiedene Kirchen im Stil der Pisaner Romanik. Im 13. Jahrhundert wurde Elba wiederholt von Genua angegriffen, der größten Rivalin Pisas.