Jazz fusion började i slutet av 1960-talet i USA. I slutet av 1960-talet började jazzmusiker som Miles Davis och ett band som hette The Tony Williams Lifetime att använda elektriska instrument som elbas och elpiano i sin jazzmusik. Dessutom började jazzmusiker lägga till rytmer eller beats från soulmusik, rhythm and blues och rockmusik i sin jazzmusik. Två viktiga jazzfusionsalbum är In a Silent Way och Bitches Brew.
På 1970-talet började fler människor spela jazzfusion. Det blev mer populärt, så fler människor började lyssna på jazz fusion och gå på jazz fusion-konserter. På 1970-talet började jazzmusiker som Herbie Hancock, Joe Zawinul, Jan Hammer och Chick Corea använda elektroniska syntar i sina låtar.
I början av 1980-talet började man spela en ny stil av jazzfusion som kallas ”pop fusion”. Denna nya stil av pop fusion var mjukare och långsammare än fusion från det tidiga 1970-talet. Pop fusion spelades mycket mer på radion än fusionen från det tidiga 1970-talet. Bland pop fusion-musikerna kan nämnas Lee Ritenour, Al Jarreau, Kenny G, Bob James och David Sanborn.Steve Vai var en ikon för jazz fusion på 1980-talet och spelade omfattande gitarrbaserade jazz fusion-instrumentaler.