Edifié vers 1300 par Rainier Grimaldi, ce château-fort est transformé vers 1620 par Jean-Henri Grimaldi en demeure seigneuriale.
Acquis par la ville en 1937, devenu Musée Municipale en 1946 puis Monument Historique en 1948, il abrite un Musée de l'Olivier, 40 portraits de Suzy Solidor et des plafonds peints baroques exceptionnels.
Il accueille également des expositions temporaires d'art contemporain.