« Harrow » vient du vieil anglais hearg, un temple païen.
Le temple se trouvait probablement sur la colline de Harrow, là où se dresse aujourd'hui l'église St Mary. La colline est notée pour la première fois en 767 sous la forme Gumeninga Hergae, qui pourrait signifier le temple païen d'une tribu appelée les Gumeningas. En 1398, le nom apparaît sous la forme Harrowe atte Hille.