Cet ancien château-fort dont il reste une tour au sommet de la falaise, a subi d'importantes modifications pour devenir à partir du XVIIème siècle un superbe château de villégiature.
En 1659, le château devient la propriété de la famille de La Rochefoucaud. Il le restera jusqu'à ce qu'il soit cédé il y a peu par bail emphythéotique au Conseil Général du Val d'Oise. Il est dorénavant géré par un Etablissement public de Coopération Culturelle constitué entre le Conseil Général du Val d'oise, la commune de La Roche Guyon et le parc naturel régional du Vexin français.
Au cours des siècles, des personnages célèbres ont fréquenté le château, François 1er et Henri IV, et au 18ème siècle les grands esprits du siècle des Lumières, Turgot, d'Alembert, Condorcet ...
Plus tard, Lamartine y passe une semaine sainte et y écrit ses Méditations, puis Victor Hugo y séjourne en 1821.
En février 1944, Rommel en fait le siège de son quartier général pour assumer sa charge de responsable de la défense des côtes françaises contre le débarquement qui s'annonce. Sachant la défaite allemande inévitable, il organise au château de nombreuses séances secrètes visant à faire cesser la guerre et renverser Hitler.
Le 18 août 1944, l'armée allemande quitte le château et le village de La Roche Guyon. Cela n'empêche pas les alliés de bombarder village et château le 25 août : huit bombes frappent le château, soixante quatre le village. Les communs du château sont anéantis, les toitures des écuries s'effondrent, et le château lui-même est éventré.
