By 1971, il déménage à Nashville, Tennessee, à la poursuite d’une carrière musicale, signant avec ABC Records en 1976. Conlee s’est classé pour la première fois en 1978 avec « Rose Colored Glasses », un tube n°5 dans le Billboard Hot Country Singles (maintenant Hot Country Songs), ainsi que la chanson titre de son premier album de 1978. Cet album produira ses deux premiers succès numéro un avec « Lady Lay Down » et « Backside of Thirty. »
Après la fusion d’ABC avec MCA Records, il sort son album Forever en 1979 chez MCA. Ses singles, « Before My Time » et « Baby, You’re Something », atteignent respectivement les numéros 2 et 7. Une deuxième sortie chez MCA, Friday Night Blues, a produit deux autres numéros 2 avec la chanson titre et « She Can’t Say That Anymore », suivis par le numéro 12 « What I Had with You ». L’album With Love de 1981 a enregistré un autre numéro 2 avec « Miss Emily’s Picture ». John a interprété sa chanson en direct sur Hee Haw le 3 janvier 1981 avec de bonnes critiques. En 2005, Conlee a fait don de son interprétation de « Rose Colored Glasses » lors d’un concert au Wildhorse Saloon de Nashville au profit de la Lymphatic Research Foundation (New York). Conlee a chanté sa chanson phare et a mis aux enchères une paire de « lunettes de couleur rose » dont les recettes ont été reversées à la LRF.
Conlee est membre du Grand Ole Opry depuis 1981.
L’album Busted de Conlee en 1982 a été lancé par une reprise de la chanson du même nom de Harlan Howard ; le dernier single de l’album, « Common Man », l’a ramené au sommet des charts en 1983. Trois autres succès numéro un sont issus de In My Eyes : « I’m Only in It for the Love », coécrit avec Kix Brooks ; la chanson titre ; et « As Long as I’m Rockin’ with You ». MCA a publié un album Greatest Hits plus tard en 1983.
Blue Highway en 1984, son dernier album studio pour MCA, a produit un numéro 2 avec « Years After You ». Un an plus tard, un deuxième ensemble Greatest Hits a produit son dernier single MCA dans le numéro 5 « Old School » avant qu’il ne passe à Columbia Records. Le premier album de Conlee pour Columbia, Harmony, lui a donné son dernier succès numéro un avec « Got My Heart Set on You » en 1986. Un deuxième et dernier album pour Columbia, American Faces, l’a fait entrer dans le Top 10 pour la dernière fois avec « Domestic Life », suivi de son dernier Top 40 à la 11ème place, « Mama’s Rockin’ Chair ». A partir de là, Conlee passe chez 16th Avenue Records et sort Fellow Travelers.