« Harrow » vient du vieil anglais hearg, un temple païen.
Le temple se trouvait probablement sur la colline, là où s'élève aujourd'hui l'église St Mary. La station a ouvert en 1880 sous le nom de Harrow et est devenue Harrow-on-the-Hill en 1894, bien qu'elle soit au pied de la colline, dans ce qui était alors le hameau de Greenhill, attesté sous la forme Grenehulle en 1334. Greenhill est depuis devenu le centre-ville de Harrow.