Nommé d'après les Celtes, le premier peuple connu de ce pays.
La rue des Celtes rappelle les Celtes de l'âge du fer. Les Trévires, une tribu celte, vivaient dans la région de l'actuel Luxembourg avant la conquête romaine au 1er siècle av. J.-C. et donnèrent leur nom à la ville de Trèves.