Führt nach Castle Hill, benannt nach einem befestigten Dorf der Siwanoy auf einem Hügel.
Wer den Namen gab, wird unterschiedlich erzählt. Eine Seite von NYC Parks nennt Adriaen Block, einen Entdecker der Neuniederländischen Kompanie im 17. Jahrhundert, dem das befestigte Dorf wie eine Burg vorkam; eine andere sagt, englische Siedler hätten die Halbinsel nach dem Dorf benannt, das über dem East River lag. Laut NYC Parks war die Avenue ursprünglich ein Pfad der Siwanoy, schon um 700 n. Chr. genutzt.