Fu da sempre importante baluardo per le terre di confine per gli [[Scaligeri]], i [[Bonacolsi]] e i [[Gonzaga]].
All`'interno del castello sorge la ''torre della fame'' così chiamata perché, a metà [[XIX secolo|Ottocento]] furono trovati in essa alcuni scheletri, fatti risalire a membri della famiglia di [[Francesco I Pico|Francesco Pico della Mirandola]] e dei nipoti e del figlio di [[Rinaldo Bonacolsi]], Francesco, ivi rinchiusi e lasciati morire di fame. Una lapide sulla porta del castello ricorda questa vicenda.<ref>La lapide recita: "QUI TRATTI IN CATENE NEL 1321 SPEGNEVA LA FAME FRANCESCO PICO E I FIGLIUOLI - NEL 1328 LA PROLE E I NEPOTI DI PASSERINO BONACOLSI - DALL'ORRIDA MUDA CHE NE HA RISPETTATO I CEPPI E LE OSSA RIECHEGGI CON VINDICE PIETÀ PER LE VITTIME UN GRIDO DI ESECRAZIONE AI TIRANNI".</ref><ref>[http://italiaemondo.blogspot.it/2011/09/gli-scheletri-di-castel-dario-la-caduta.html Italia e mondo. Gli scheletri di Castel d'Ario.]</ref>
Il palazzo pretorio, unico edificio recentemente restaurato, è utilizzato come luogo di rappresentanza e sede della biblioteca comunale. Al uso interno sono stati portati alla luce importanti affreschi trecenteschi riferiti alla signoria [[Scaligeri|scaligera]].
