Höchstwahrscheinlich benannt nach einem Postkutschengasthof namens Elephant and Castle.
Einer beliebten Geschichte nach kommt der Name von „Infanta de Castilla“, einer spanischen Prinzessin, doch Historiker bezweifeln das. Ein Elefant mit einer Burg auf dem Rücken war ein verbreitetes Zeichen, etwa im Wappen der Messerschmiede-Zunft.