Nommée très probablement d'après une auberge de diligences, l'Elephant and Castle.
Selon une histoire répandue, le nom viendrait de « Infanta de Castilla », une princesse espagnole, mais les historiens en doutent. Un éléphant portant un château était une enseigne courante, utilisée par exemple par la corporation des couteliers.