Le più antiche notizie del “luogo detto Gamberaja” risalgono alla seconda metà del Trecento quando un podere con casa colonica apparteneva alle monache di S. Martino a Mensola. Il nome si riferiva alla presenza di un corso d’acqua dolce dove si pescavano i gamberi. Alla fine del Trecento la proprietà fu acquistata da Matteo di Domenico Gamberelli, tra i cui discendenti spicca la figura di Bernardo detto “il Rossellino”. Nel 1610, il nuovo proprietario Zanobi Lapi iniziò la costruzione della villa padronale e nei decenni successivi furono pianificati i giardini e le fontane.