Nommée d'après la 34th Street et Penn Station, qui tient son nom du Pennsylvania Railroad.
Le Pennsylvania Railroad construisit la gare et en fut le premier propriétaire. Son premier bâtiment fut achevé en 1910 ; la démolition du bâtiment principal et de la halle des quais commença en 1963, et les voies furent conservées dans la gare souterraine plus petite d'aujourd'hui, sur la 33rd Street, une rue plus au sud. Le plan des commissaires de 1811 avait fait de la 34th Street l'une des 15 rues transversales larges de 100 pieds.