Mellow Mushroom opende zijn deuren in Atlanta, Georgia in 1974 toen twee studenten van Georgia Tech, later aangevuld met een derde van de University of Georgia, een zaak oprichtten die hun excentrieke filosofieën weerspiegelde. Het eerste restaurant werd geopend op Spring Street in Atlanta. Eind jaren tachtig werd de eerste franchise geopend door een werknemer, gevolgd door franchises die eigendom waren van klanten, en vervolgens aan vrienden van werknemers en klanten. Elke franchise is plaatselijk eigendom en wordt geëxploiteerd met een eigen, unieke uitstraling.
De eerste franchise die buiten Atlanta werd gevestigd, was in Athens, Georgia, in de buurt van de Universiteit van Georgia. Er zijn enkele tientallen vestigingen in Atlanta en elders in Georgia. Vanaf 2000 breidde de franchise zich uit buiten de universiteitsmarkten naar stedelijke gebieden zoals Jacksonville, Florida en Denver, Colorado. Tot op heden heeft de keten meer dan 200 locaties verspreid over 20 staten.
Medio maart 2020 waren alle restaurants gestopt met dineren op de kamer om de COVID-19 pandemie te bestrijden. Klanten kunnen hun bestellingen nog steeds doen via bezorging, afhaal- of afhaalservice.