Rappelle Thomas Pell, qui acheta des terres ici aux Siwanoy en 1654 et les nomma Pelham.
L’origine du nom « Pelham » est discutée : une ancienne explication y lit « la demeure des Pell », d’autres disent qu’il honorait Pelham Burton, son précepteur ou tuteur en Angleterre. Les terres de Pell prirent le nom de Pelham Manor après une patente du gouverneur Richard Nicolls en 1666 ; le parc, créé en 1888, en occupe la partie la plus méridionale. L’eau appelée Pelham Bay n’est pas une baie mais un détroit, ouvert aux deux bouts.