„Anerley“ kommt von einem schottischen Wort für „einsam“ oder „einzig“.
1827 kaufte William Sanderson, ein schottischer Seiden- und Weinhändler aus Galashiels, Land auf der früheren Penge Common und baute dort das erste Haus, das er Anerly nannte. Die Straße und dann die Gegend übernahmen den Namen. Er stellte Land für einen Bahnhof bereit, der 1839 als Anerley Bridge eröffnet wurde; nach örtlicher Überlieferung sagte er: „Mine is the annerly hoose“.