Benannt nach dem Caledonian Asylum, einem Heim für schottische Kinder.
Das Heim wurde 1815 von der Highland Society of London für schottische Kinder gegründet, die in den Napoleonischen Kriegen zu Waisen geworden waren, und zog 1828 hierher. Die Straße, 1826 als Mautstraße gebaut, hieß zuerst Chalk Road und wurde dann nach ihm umbenannt. „Caledonia“ war der römische Name für einen Teil der schottischen Highlands und ist heute ein poetischer Name für ganz Schottland.