Westchester Square était le cœur de l’ancien village et de la commune de Westchester.
Des colons anglais venus de la colonie de New Haven fondèrent le village vers 1654 sur des terres que Thomas Pell avait achetées aux Amérindiens ; les Néerlandais l’appelaient Oostdorp, « village de l’est ». Il fut le chef-lieu de la commune de Westchester jusqu’en 1895, quand celle-ci fut rattachée à New York. « Tremont » fut inventé par un maître de poste au XIXe siècle, selon la tradition à partir de trois collines : Mount Eden, Mount Hope et Fairmount.