Whitehall rappelle la maison d'un gouverneur ; South Ferry, un ancien ferry vers Brooklyn.
Le gouverneur néerlandais Peter Stuyvesant fit bâtir une maison à l'actuel croisement de Pearl Street et Whitehall Street. Après la prise de La Nouvelle-Amsterdam par les Britanniques en 1664, elle fut appelée « Whitehall », d'après le siège du gouvernement anglais à Londres. South Ferry ne doit pas son nom à la pointe sud de Manhattan, mais à un ferry fondé en 1836 sur une route vers Brooklyn plus au sud que les lignes précédentes.