Do 1971 roku przeniósł się do Nashville, Tennessee, w pogoni za karierą muzyczną, podpisując się pod ABC Records w 1976 roku. Conlee po raz pierwszy wykres w 1978 roku z „Rose Colored Glasses”, nr 5 hit na Billboard Hot Country Singles (obecnie Hot Country Songs) listy przebojów, jak również tytuł utworu do jego debiutanckiego albumu 1978. Ten album będzie dalej produkować swoje pierwsze dwa numery jeden hitów w „Lady Lay Down” i „Backside of Thirty.”
Po ABC fuzji z MCA Records, wydał swój 1979 album Forever na MCA. Jego single, „Before My Time” i „Baby, You’re Something,” odpowiednio osiągnęła nr 2 i nr 7. Drugie wydawnictwo MCA, Friday Night Blues, przyniosło dwa kolejne hity nr 2 w postaci tytułowego utworu i „She Can’t Say That Anymore”, a następnie nr 12 „What I Had with You”. With Love z 1981 roku przyniosło kolejny nr 2 w postaci utworu „Miss Emily’s Picture”. John wykonał swoją piosenkę na żywo w programie Hee Haw 3 stycznia 1981 roku, zbierając świetne recenzje. W 2005 roku Conlee ofiarował swoje wykonanie „Rose Colored Glasses” na koncercie w Wildhorse Saloon w Nashville na rzecz Lymphatic Research Foundation (Nowy Jork). Conlee zaśpiewał swoją popisową piosenkę i sprzedał na aukcji parę „różowych okularów”, z których dochód został przeznaczony na LRF.
Conlee jest członkiem Grand Ole Opry od 1981 roku.
Conlee’s 1982 album Busted został poprowadzony przez cover piosenki Harlan Howard o tej samej nazwie; ostatni singiel z albumu, „Common Man,” wrócił na szczyt list przebojów w 1983 roku. Trzy kolejne hity numer jeden pochodziły z In My Eyes: „I’m Only in It for the Love”, napisany wspólnie z Kixem Brooksem, utwór tytułowy oraz „As Long as I’m Rockin’ with You”. MCA wydała album Greatest Hits później w 1983.
Blue Highway w 1984 roku, jego ostatni album studyjny dla MCA, wyprodukował nr 2 w „Years After You.” Rok później, drugi pakiet Greatest Hits wyprodukował swój ostatni singiel MCA w nr 5 „Old School”, zanim przeniósł się do Columbia Records. Pierwszy album Conlee’ego dla Columbii, Harmony, dał mu ostatni hit numer jeden w postaci „Got My Heart Set on You” w 1986 roku. Drugi i ostatni album dla Columbii, American Faces, po raz ostatni wprowadził go do Top 10 z utworem „Domestic Life”, a następnie „Mama’s Rockin’ Chair” po raz ostatni trafił do Top 40 z numerem 11. Stamtąd, Conlee przeniósł się do 16th Avenue Records, wydając Fellow Travelers.
.