« Gruef » signifie fossé.
La rue du Fossé, « um Gruef » en luxembourgeois, doit son nom au fait qu'elle fut construite sur le fossé qui longeait la deuxième enceinte de la ville. Sous l'occupation allemande (1940–1944), elle s'appelait « Auf dem Graben », le même nom en allemand. En 1933, elle fut élargie pour adapter la vieille ville au confort et à l'hygiène de la ville nouvelle du XIXe siècle.