Benannt nach der 23rd Street, die am Madison Square auf Broadway und Fifth Avenue trifft.
Die 23rd Street entstand mit dem Commissioners' Plan von 1811. 1814 verkleinerte die Stadt einen großen militärischen Paradeplatz hier und benannte ihn nach Präsident James Madison in Madison Square um; die Madison Avenue, die am Platz beginnt, ist nach ihm benannt. Der Ausdruck „23 skidoo“ soll von Windböen um das dreieckige Flatiron Building an dieser Kreuzung stammen.