« Harrow » vient du vieil anglais hearg, un temple païen.
Le temple se trouvait probablement sur la colline de Harrow, là où se dresse aujourd'hui l'église St Mary. En 767, la colline est notée Gumeninga hergae, ce qui pourrait signifier le temple païen d'une tribu appelée les Gumeningas. Avant l'ouverture de la station North Harrow en 1915 et le développement du quartier autour d'elle, l'endroit s'appelait Hooking Green.