Questo poderoso edificio, possiede una storia millenaria che si intreccia con quella della città di Barletta : posto ai margini del comune di Barletta , originariamente lambito dalle acque dell'Adriatico fu probabilmente fondato dai normanni nell'XI secolo. Ancora oggi è visibile nel cortile, una traccia della torre più antica. Divenne castello e dimora sveva come testimoniano le aquile imperiali scolpite nelle lunette di due finestre nello stesso cortile. L'imperatore vi risiedette più volte, e ai suoi ingegneri risalirebbe la prima costruzione di una struttura quadrilatera. Fu riedificato da Carlo I d'Angiò che lo elesse a sua residenza pugliese privilegiata, intervenendovi si a negli aspetti militari che in quelli residenziali: vi si costruì un palatium, una torre, le nuove mura, e una cappella. L'architetto fu il celebre Pietro d'Angicourt, cui si dovette una struttura probabilmente trapezoidale, una torre rotonda come quella di Lucera. I lavori terminarono con Carlo II nel 1291. Testimonianza evidente di questa fase sono le basi delle torri angolari ancora visibili nei sotterranei perché successivamente inglobate nelle poderose strutture cinquecentesche. Carlo V, infatti, a partire dal 1532, lo reso fortezza inespugnabile, adattandolo alle nuove armi da fuoco tanto che non fu mai attaccato. Gli si dette una veste "regolare": pianta quadrata, grande cortile interno, spigoli protetti da grandi bastioni a punta di lancia, con due piani di casamatte a pianta circolare e copertura emisferica. Grande il numero di bocche da fuoco che difendevano il castello circondato da un largo e profondo fossato aperto direttamente sul mare dal lato Nord. Perduta nel corso dell'800 gran parte della sua funzione strategica, fu simbolicamente attaccato dalla flotta austriaca all'alba del 24 maggio 1915: evidenti sono i segni sul lato mare, segni che evidenziano anche la solidità delle strutture. Oggi l'imponente struttura possiede una funzione culturale di rilievo: ospita la biblioteca comunale, la collezione De Nittis, altre collezioni d'arte di cui la città è ricca, una serie di splendide lapidi antiche e medievali, e soprattutto il celeberrimo busto di Federico II raffigurato come un antico imperatore romano.
Oggi il castello Svevo della città di Barletta è stato finalmente restaurato, presentandosi al suo pubblico sotto una veste più curata ed ospitando il Parco Letterario che darà maggiore spessore culturale a quello che già di per sè rappresenta un grande contenitore di opere artistico-letterale.