Benannt nach der 34th Street und der Penn Station, die ihren Namen von der Pennsylvania Railroad hat.
Die Pennsylvania Railroad baute den Bahnhof und war seine erste Eigentümerin. Das erste Gebäude wurde 1910 fertiggestellt; 1963 begann der Abriss von Empfangsgebäude und Bahnsteighalle, die Gleise blieben als heutiger, kleinerer unterirdischer Bahnhof an der 33rd Street, einen Block südlich, erhalten. Der Commissioners’ Plan von 1811 hatte die 34th Street zu einer von 15 Querstraßen mit 100 Fuß Breite gemacht.