Le nom rappelle le bureau principal des douanes (« Zollamt ») qui se dressait ici.
La rue (« hintere » = arrière) fut baptisée en 1862 d’après le bâtiment principal des douanes, construit en 1840–1844 sur des plans de Paul Sprenger. Presque entièrement détruit pendant la Seconde Guerre mondiale, il fut ensuite démoli ; un immeuble de bureaux pour le centre informatique fédéral fut construit à sa place en 1969–1974.