Si narra che:
La costruzione del castello ebbe inizio nel 1560 e terminò almeno nel 1567, infatti Benvenuto Cellini racconta di aver accompagnato Cosimo a cavallo in un luogo 4 miglia a Sud di Livorno dove Egli faceva erigere una piccola fortezza. Nella notte del 21 Maggio 1562 lo storico Pera cita il fatto in cui 10 persone furono rapite dai pirati proprio nei pressi di L’Antignano e questo certo dette una accelerazione ai lavori.
.
Da una pianta conservata all’archivio di stato di Firenze databile anteriormente al 1675, abbiamo una visione d’insieme della struttura. I due ingressi lato mare e lato terra, all’interno la chiesetta intitolata prima a S.S. Cosimo e Damiano e in seguito a S. Lucia, alloggiamenti per la guarnigione, per i lavoranti e le stanze dei Duchi. I quattro bastioni sporgenti sugli angoli, sono detti della Campana S-O, della Fornace N-O, della Fonte N-E e del Giardino S-E.
Nelle immediate vicinanze del forte, a N-O lungo la costa, oltre il botro della Banditella c’era una torre d’avvistamento e vicino due fornaci probabilmente realizzate per produrre i materiali occorrenti alla costruzione del forte e che in seguito continuarono ad operare anche per la Fabbrica di Livorno. Nel 1631 l’Antignano, per la sua posizione isolata fu usato come luogo di quarantena per le truppe “lombarde” reduci dalla spedizione nello stato di Milano, al servizio del re di Spagna e contagiati dalla peste, furono molti i morti anche tra gli abitanti. Nel 1749, da una descrizione del colonnello Odoardo Warren, l’armamento del forte era così composto: Tre pezzi del calibro di 4 libbre, 2 da una libbra, sei spingarde, sedici moschetti a miccia e varie munizioni; mentre la guarnigione era composta da 1 Castellano (uff.), 1 caporale, 1 cannoniere e tredici soldati tra fissi e rinforzi. Nel 1878 la famiglia Cremoni acquistò la struttura trasformandola un un elegante e lussuoso albergo sul mare. Successive modifiche ne hanno completamente snaturato l’immagine, oggi l’unico riferimento rimane il “rivellino” proprio di fronte al mare. +
