Alla fine del XVII secolo, il Duca di Calabritto acquistò il terreno su cui oggi sorge l’edificio dai monaci del vicino convento di Santa Maria a Cappella e lo utilizzò per l’edificazione della sua dimora.
Nel 1736, anche se ancora incompiuta, questa passò in eredità al figlio Vincenzo che dovette cederla a re Carlo che si era innamorato del nuovo palazzo ma che, tuttavia, non si preoccupò di terminarne la costruzione.
Nel 1754, la famiglia Tuttavilla riuscì a rientrarne in possesso restituendo al re la somma pagata e, due anni più tardi, affidò i lavori di ristrutturazione all’architetto Luigi Vanvitelli che intervenne sulla facciata dei due portali d’ingresso: da Via Calabritto 20 e da Piazza dei Martiri 30.
Il portale che si apre sulla piazza si presenta fiancheggiato da due colonne scanalate e da altrettanti pilastri con capitelli ionici che sorreggono la lunga balconata del piano nobile.
Le finestre che si affacciano su di essa, inoltre, hanno alternativamente timpani triangolari e ad arco, a loro volta sormontati da alcuni oblò e dalle aperture dei piani superiori.
Il basamento, invece, presenta gli ingressi delle botteghe, con i balconi sovrastanti che replicano il disegno dell’ultimo piano.
Su via Calabritto, invece, il portale d’ingresso presenta una rosta a raggiera e due colonne che, prima del capitello, terminano con delle teste femminili da cui pendono delle ghirlande decorative.
Infine, anche l’interno venne ritoccato dal Vanvitelli che costruì il cortile con doppio atrio e la scalinata che, dalla parte di piazza Vittoria, non segue il palazzo nella sua altezza, ma conduce ad un terrazzamento con vista sul golfo.
Successivamente, l’intero edificio venne suddiviso e venduto separatamente alla Società Immobiliare, alla famiglia Caracciolo ed alla famiglia Piscicelli che affidarono quasi tutto il primo piano alla Chiesa Anglicana, finchè i religiosi si trasferirono in via Cappella Vecchia.
Inoltre, come ricordato da un’epigrafe posta sulla facciata dalla parte della piazza, il palazzo venne abitato dal giurista Alberto Marghieri.