Nommée d'après la 34th Street et Penn Station, construite par le Pennsylvania Railroad.
Penn Station porte le nom du Pennsylvania Railroad, la compagnie qui l'a construite et en fut la première propriétaire ; la gare d'origine ouvrit entièrement le 27 novembre 1910. Son bâtiment principal et sa halle furent démolis en 1963, et les voies regroupées dans la gare souterraine, plus petite, d'aujourd'hui. La 34th Street fait partie des 15 rues est-ouest que le plan des commissaires de 1811 dota d'une largeur de 100 pieds.