« Brixton » signifie la pierre d'un homme nommé Beorhtsige.
Le nom est attesté pour la première fois en 1062 sous la forme Brixiges stan ; d'autres sources l'appellent Brixi, un seigneur saxon. Sa pierre marquait peut-être le lieu de réunion de la « centaine » de Brixton, un groupe de paroisses du Surrey. Son emplacement est inconnu, mais on pense qu'elle se trouvait au sommet de Brixton Hill, bien avant qu'un village n'y apparaisse.