Très probablement nommée d'après les falaises de la colline voisine de Grymes Hill.
Le nom remonte à 1817, quand une ville appelée Clifton, plus étendue que le quartier actuel, fut tracée le long du front de mer. Selon Forgotten New York, elle doit très probablement son nom à sa position à l'est des falaises de Grymes Hill. La gare ouvrit en 1860 sous le nom de Vanderbilt's Landing : Cornelius Vanderbilt, jeune homme, avait lancé un ferry de ce rivage vers Manhattan.