Il castello è composto da un corpo quadrilatero, munito di torri sulle quali spiccano le aquile estensi e del mastio, che racchiude il cortile con un triplice loggiato.
Il mastio del castello fu costruito da Bonifacio di Canossa, mentre più tardi, nel 1402 per ordine del marchese Niccolò III d'Este la rocca fu ampliata e ristrutturata da Bartolino da Novara[1].
A quel tempo, il castello era affiancato dal fiume Panaro, mentre dagli altri lati era difesa da fossati. Fu adattata negli anni seguenti ad essere la residenza degli Este, e fino alla metà del XX secolo[2]. La Rocca è rimasta gravemente danneggiata dal terremoto del 20 maggio 2012.[3].
Il terremoto dell'Emilia del 2012 ha danneggiato il castello in maniera molto grave.
Vicino al castello era situata anche la Torre dei Modenesi (conosciuta anche come Torre dell'Orologio). Questa torre, costruita nel 1213[4], insieme all'orologio, è stata una delle icone del terremoto del 2012: spezzata a metà in occasione della prima scossa del 20 maggio, la torre è definitivamente crollata il successivo 29 maggio. Nel numero 31 della rivista Il male dei vignettisti Vauro Senesi e Vincino la Torre dei Modenesi spezzata dal terremoto è raffigurata sullo sfondo della copertina[5].