Nommée d'après la rue Mabillon, qui honore le moine bénédictin Jean Mabillon (1632-1707).
À partir de 1664, il vécut à l'abbaye de Saint-Germain-des-Prés, où il est enterré. Il est considéré comme le fondateur de la diplomatique, la science qui établit la date et l'authenticité des documents anciens. La rue fut ouverte en 1817 ; une partie, tracée en 1854 sur un passage menant à la foire Saint-Germain, s'appelait alors rue de la Foire.