Brownin isä oli jamaikalainen ja äiti britti. Brownilla on kaksi veljeä ja kolme siskoa. Hänen isänsä palveli kuninkaallisissa ilmavoimissa, ja Brown kasvoi ilmavoimien tukikohdissa eri puolilla maailmaa, muun muassa Singaporessa ja Kyproksella, ennen kuin hän palasi Isoon-Britanniaan, jossa he asettuivat asumaan Bridgendiin, Walesiin.
Voitettuaan Ison-Britannian diskotanssin mestaruuden hän voitti myös diskotanssin maailmanmestaruuden vuonna 1979. Pian tämän jälkeen Brown aloitti uransa Britannian televisiossa juontajana ja vieraana useissa lastenohjelmissa, kuten pitkäaikaisessa Crackerjack-ohjelmassa. Brown esiintyi myös tanssijana Top of the Pops -ohjelmassa 1980-luvun alussa tanssiryhmä Zoo:n jäsenenä.
Brownista tuli juontaja yleiseurooppalaisella Music Box -musiikkikanavalla, ja muutettuaan Yhdysvaltoihin hänestä tuli lopulta MTV:n VJ ja hän juonsi 1980-luvun lopulla Club MTV -ohjelmaa. Kyseinen ohjelma oli muodoltaan samanlainen kuin American Bandstand, mutta siinä esitettiin yksinoikeudella tanssimusiikkia. Siitä syntyi hänen iskulauseensa ”Wubba Wubba Wubba Wubba”, kun hän oli vahingossa lukenut suorassa lähetyksessä vuorosanoja pitelevän kameramiehen T-paidan.