Mène à Castle Hill, nommé d’après un village fortifié des Siwanoy sur une colline.
Les récits divergent sur l’auteur du nom. Une page de NYC Parks l’attribue à Adriaen Block, explorateur du XVIIe siècle au service de la Compagnie de la Nouvelle-Néerlande, qui trouvait que le village fortifié ressemblait à un château ; une autre dit que des colons anglais nommèrent la péninsule d’après ce village, qui dominait l’East River. Selon NYC Parks, l’avenue était à l’origine un sentier des Siwanoy utilisé dès 700 apr. J.-C.