„Marble Hill“ geht auf Marmorvorkommen unter dem Viertel zurück.
Marble Hill erhielt seinen Namen 1891 nach den darunter entdeckten Vorkommen von Inwood-Marmor. Einst Teil der Insel Manhattan, wurde es 1817 zur eigenen Insel, als ein schmaler Kanal gegraben wurde; 1895 wurde der Kanal zum Harlem River Ship Canal ausgebaut. Durch Landgewinnung wurde Marble Hill 1913 oder 1914 (die Quellen weichen ab) mit der Bronx verbunden, gehört rechtlich aber weiterhin zu Manhattan.