Il nome è di origine araba — Qal'at an-nisa , il castello delle donne, secondo l'interpretazione comune — e la città crebbe sotto il castello normanno di Pietrarossa nell'entroterra siciliano, terra di grano e di vita dura.

Ciò che la trasformò fu lo zolfo . A partire dall'inizio dell'Ottocento, i giacimenti della Sicilia centrale furono sfruttati su una scala tale da rendere questa provincia, per un certo periodo, la fonte della maggior parte dello zolfo mondiale. Caltanissetta divenne la capitale dell'industria, con compagnie minerarie, un bacino di ingegneri, una scuola tecnica mineraria e una ricchezza che i vicini centri agricoli non conobbero mai.

Il costo umano fu notorio. I minatori lavoravano in condizioni di caldo e pericolo spaventose e il minerale veniva trasportato dai carusi — ragazzi, alcuni giovanissimi, spesso legati a un minatore da un sistema di debito che un'inchiesta parlamentare degli anni '70 dell'Ottocento descrisse con termini che scioccarono il nuovo Regno. L'industria zolfifera siciliana divenne uno degli scandali sociali più emblematici dell'Italia unita.

L'industria declinò dalla fine del XIX secolo, quando lo zolfo americano, più economico, raggiunse il mercato, per poi crollare nel Novecento. Seguì un'emigrazione su larghissima scala e lo spopolamento dell'entroterra, che prosegue ancora oggi.

Nel 1927 la provincia perse un gruppo di comuni a favore della nuova provincia di Castrogiovanni, l'odierna Enna.