Il palazzo fu una delle molte dimore signorili costruite dai Farnese nei propri domini. Inizialmente doveva avere caratteristiche difensive come era comune nelle dimore signorili del territorio laziale tra XV e XVI secolo.
All’interno della sontuosa dimora lavorarono i migliori pittori ed architetti dell’epoca.
Alla villa sono annessi gli “Orti Farnesiani” (con lo stesso nome dei giardini della famiglia sul colle Palatino a Roma), uno splendido esempio di giardino tardo-rinascimentale, realizzato attraverso un sistema di terrazzamenti alle spalle della dimora, arroccati sul colle dal quale s’erge la costruzione e collegati dal Vignola con la residenza attraverso dei ponti.