La propriété, un corps de ferme daté de 1777, attenante au moulin de Vicq, a été agrandie en vue de la fondation du musée, Max Fourny, amateur et éditeur d’art a décider d'en faire une musée afin de pouvoir abriter une collection naissante qui allait se développer et se structurer, au fil des ans, dans un contexte international.
Situé à 50 kilomètres au sud-ouest de Paris et à 30 kilomètres de Versailles, le musée est entouré d'un grand jardin et d'un verger.