Jego hobby było m.in. palenie cygar, gra w golfa (osiągnął handicap 14) i malarstwo, w szczególności akty i architektura.
Brown uznawany jest za prekursora gatunków rhythm and blues, soul i funk.