Nommée d'après Holland House, un manoir du XVIIe siècle dont le parc est devenu public.
Sir Walter Cope fit bâtir la maison en 1605 sous le nom de Cope Castle. Elle passa par mariage à Henry Rich, qui la rebaptisa Holland House après avoir été fait comte de Holland, un titre tiré d'une région du Lincolnshire, et non des Pays-Bas. Plus tard, la famille Fox, barons Holland, y vécut, et le quartier bâti sur ses terres prit le nom de la maison.