Jazz fusion vznikla koncem 60. let 20. století ve Spojených státech. Koncem 60. let 20. století začali jazzoví hudebníci, například Miles Davis a skupina The Tony Williams Lifetime, používat ve své jazzové hudbě elektrické nástroje, například elektrickou baskytaru a elektrické piano. Stejně tak začali jazzoví hudebníci do své jazzové hudby přidávat rytmy nebo beaty ze soulové hudby, rhythm and blues a rockové hudby. Dvě významná alba jazzové fúze jsou In a Silent Way a Bitches Brew.
V 70. letech 20. století začalo jazzovou fúzi hrát více lidí. Stala se populárnější, takže více lidí začalo jazz fusion poslouchat a chodit na koncerty jazz fusion. V 70. letech 20. století začali jazzoví hudebníci jako Herbie Hancock, Joe Zawinul, Jan Hammer a Chick Corea používat ve svých skladbách elektronické syntezátory.
Na počátku 80. let 20. století se začal hrát nový styl jazzové fúze zvaný „pop fusion“. Tento nový styl pop fusion byl měkčí a pomalejší než fusion z počátku 70. let. Pop fusion se v rádiích hrála mnohem častěji než fusion z počátku 70. let. Mezi hudebníky hrající pop fusion patří Lee Ritenour, Al Jarreau, Kenny G, Bob James a David Sanborn.
Steve Vai byl v 80. letech ikonou jazzové fusion a hrál rozsáhlé instrumentální skladby založené na kytaře.