In epoca romana il luogo appare come Natiolum , citato nella Tabula Peutingeriana lungo l'antica Via Litoranea che correva da Capo di Leuca ad Ancona e proseguiva verso il Veneto — la direttrice costiera su cui si susseguono Bardulos (Barletta), Turenum (Trani), Natiolum e Barium (Bari), mentre Ruvo e Bitonto giacciono sulla parallela interna della Via Traiana. Potrebbe essersi sviluppato sulle rovine della Netium peuceta, rasa al suolo durante le guerre puniche. La leggenda preferisce una fondazione da parte di Perseo, figlio di Giove, che si dice sia sbarcato qui e abbia fondato Jovis Natio in onore del padre.

Per tutto il primo millennio fu solo un villaggio di pescatori, marinai e mercanti. Fu sede di un gastaldato longobardo dalla conquista del VII secolo fino al ritorno dei Bizantini nel Mezzogiorno nei secoli X e XI.

Le mura sono l'altro segno distintivo della città. L' Arco di Traiano è una delle antiche porte della cinta medievale: due archi ogivali i cui capitelli poggiano su quattro colonne miliari della Via Traiana — sebbene quella strada in realtà non passasse per la città, e le colonne vi furono trasportate. Localmente si attribuisce all'imperatore il rafforzamento della cinta difensiva. Più tardi arrivarono il Torrione Aragonese , chiamato u tammurre in dialetto per la sua rotondità a tamburo e visibile dal porto, e le mura aragonesi con il Fortino.

La Concattedrale di Santa Maria Assunta fu costruita a partire dal 1113 in stile romanico pugliese con elementi normanni e orientali, su una preesistente chiesa di Santa Maria dell'Episcopio, e consacrata il 23 maggio 1283 . Una campagna barocca rifaceva poi interamente l'interno; ciò che resta dell'edificio romanico è la facciata posteriore tra i suoi due campanili — il più piccolo dei quali seicentesco — parte del presbiterio e la cripta . Quella cripta, il cimitero e le strutture murarie sotto il Palazzo Ducale sono la testimonianza fisica dell'insediamento più antico.

Un documento fornisce la forma dell'antico ordinamento civico. Il 16 luglio 1522 , il Duca Don Ferdinando di Capua ricevette l'omaggio dai due sindaci delle piazze e dal corpo dell'Universitas. Due piazze significano due ordini costituiti — nobili e popolo — ciascuno con il proprio sindaco, il che è utile sapere quando si legge qualsiasi documento municipale di questa città precedente al 1809.

Dal XV secolo Giovinazzo commerciava attivamente con Venezia . Ma i secoli successivi andarono male: sotto Angioini, Aragonesi e poi Borbone la città declinò e nel XVIII secolo era ridotta a circa 4.500 abitanti . Verso la fine di quel secolo Ferdinando IV e Maria Carolina visitarono la cattedrale, che sorgeva in una posizione insolita all'estremo limite del borgo antico di fronte al mare.