La torre, che deve il suo nome alla famiglia Du Fromage o Casei, vassalli dei Porta Sant'Orso e feudatari del vescovo, viene eretta nel XII secolo sul lato est della cinta muraria, nelle immediate vicinanze del teatro romano.

L'edificio fu oggetto di una serie di rimaneggiamenti, ampliamenti e restauri nel corso dei secoli. Solo nella seconda metà del XX secolo sono stati asportati alcuni edifici addossati alla torre, permettendo così di goderne la vista nella sua integrità.