Nommée d'après Charles Carroll, seul signataire catholique de la Déclaration d'indépendance.
Charles Carroll (1737–1832) représentait le Maryland au Congrès continental en 1776, l'année où des soldats du Maryland, restés dans l'histoire comme les « Maryland 400 », chargèrent les Britanniques pendant la bataille de Brooklyn, au prix de lourdes pertes. Carroll Park, acheté par la ville en 1853, reçut son nom en l'honneur du régiment du Maryland, et le quartier prit peu à peu le nom de Carroll Gardens dans les années 1960.