Si dice che i Greci chiamassero questo luogo Sidion , la terra dei melograni, e i Romani Silvium , la terra dei boschi. Il nome moderno viene solitamente spiegato con il burrone stesso, sebbene la tradizione preferisca una frase attribuita a Federico II — Grana dat et vina , dà grano e vino — da cui si dice derivi Gravina. L'antico insediamento sorgeva sulla collina di Botromagno , con il sito archeologico noto come Padre Eterno situato più in basso.

L'origine stessa della città è una storia di profughi, ed è scritta nella roccia. La chiesa di San Michele delle Grotte , nel rione Fondovico , fu scavata in un unico blocco di tufo tra l' VIII e il X secolo : cinque navate sostenute da quattordici pilastri quadrangolari naturali, con affreschi bizantini. Fu, secondo il racconto locale, la chiesa madre dei profughi , che costruirono le loro abitazioni attorno ad essa dando così vita a Gravina. Al suo interno si trovano teschi e ossa che la tradizione attribuisce alle vittime del massacro saraceno dei gravinesi nel 999 .

Attorno ad essa si trovano circa ottanta siti rupestri nel burrone — tra cui la grotta delle sette camere , la cripta di San Vito Vecchio , il Sepolcreto e il santuario rupestre della Madonna della Stella , divenuto santuario mariano nel 1500 e che prende il nome da un affresco della Madonna col Bambino con una stella sulla fronte.

In superficie, Federico II fece costruire il Castello Svevo come riserva di caccia, essendo la zona all'epoca boscosa. La cattedrale fu edificata nel 1065 , quasi interamente distrutta dal terremoto del 1456 e ricostruita a partire dal 1482 sotto il vescovo Matteo D'Aquino , con il sostegno dei cittadini e il finanziamento del duca Francesco II Orsini — il progetto è stato attribuito al Bramante . Oggi è una basilica minore dedicata a Santa Maria Assunta : tre navate su colonne i cui capitelli sono tutti diversi, con altari in marmi policromi dell'inizio del XVIII secolo.

L'emblema della città è il suo ponte, e la sua storia è una lezione su come leggere attentamente le date. Il Ponte Acquedotto Madonna della Stella attraversa il burrone — anticamente il Crapo — lungo novanta metri, alto trentasette e largo cinque metri e mezzo. Fu costruito per consentire ai fedeli di raggiungere il santuario rupestre sul lato opposto. La data di costruzione originale è sconosciuta, ma un atto notarile ne prova l'esistenza già nel 1686 . Reso instabile dal terremoto di quell'anno, probabilmente crollò nel sisma del 1722 . Gli Orsini lo ricostruirono poi, facendo qualcosa di più di una semplice ricostruzione: lo trasformarono in un vero acquedotto , portando l'acqua dalle sorgenti di Sant'Angelo e San Giacomo fino sotto le mura cittadine. La struttura a doppia arcata fu iniziata nel 1743 e completata nel 1778 — lo stesso anno del monumento delle Quattro Fontane , eretto per portare l'acqua in città dalla sorgente di Pozzo Pateo.

Gli Orsini lasciarono altre tracce. Santa Maria del Suffragio , la chiesa del Purgatorio, fu costruita tra il 1649 e il 1654 come cappella funeraria della famiglia. E la Biblioteca Finya , una delle più antiche biblioteche in Puglia, custodisce più di ottomila volumi.

Un'istituzione precede tutto questo. La Fiera di San Giorgio , che si tiene ad aprile, fu ripristinata da Carlo d'Angiò nel 1294 su istanza del conte di Montfort, e Gravina la rivendica come la fiera più antica del mondo. Si apre ancora oggi con un corteo storico che rievoca le cerimonie che davano inizio al mercato.