« Anerley » vient d'un mot écossais signifiant « solitaire » ou « seul ».
En 1827, William Sanderson, un marchand écossais de soie et de vin originaire de Galashiels, acheta un terrain sur l'ancienne Penge Common et y bâtit la première maison, qu'il nomma Anerly. La route, puis le quartier, prirent ce nom. Il céda du terrain pour une gare, ouverte en 1839 sous le nom d'Anerley Bridge ; selon la tradition locale, il aurait dit : « Mine is the annerly hoose ».