Höchstwahrscheinlich benannt nach den Klippen des nahen Grymes Hill.
Der Name stammt von 1817, als entlang des Ufers eine Stadt namens Clifton angelegt wurde, größer als das heutige Viertel. Forgotten New York zufolge ist sie höchstwahrscheinlich nach ihrer Lage östlich der Klippen von Grymes Hill benannt. Der Bahnhof wurde 1860 als Vanderbilt's Landing eröffnet: Cornelius Vanderbilt hatte als junger Mann von diesem Ufer aus eine Fähre nach Manhattan eingerichtet.