Nommée d'après le Caledonian Asylum, un foyer pour enfants écossais.
Ce foyer fut fondé en 1815 par la Highland Society of London pour les enfants écossais devenus orphelins pendant les guerres napoléoniennes ; il s'installa ici en 1828. La rue, construite en 1826 comme route à péage, s'appelait d'abord Chalk Road et prit ensuite son nom. « Caledonia » était le nom romain d'une partie des Highlands écossais ; c'est aujourd'hui un nom poétique pour toute l'Écosse.