La fusion jazz a débuté à la fin des années 1960 aux États-Unis. À la fin des années 1960, des musiciens de jazz tels que Miles Davis et un groupe appelé The Tony Williams Lifetime ont commencé à utiliser des instruments électriques tels que la basse électrique et le piano électrique dans leur musique de jazz. De même, les musiciens de jazz ont commencé à ajouter des rythmes ou des battements de la musique soul, du rhythm and blues et de la musique rock à leur musique. Deux albums importants de jazz fusion sont In a Silent Way et Bitches Brew.
Dans les années 1970, plus de gens ont commencé à jouer du jazz fusion. Il est devenu plus populaire, donc plus de gens ont commencé à écouter le jazz fusion et à aller aux concerts de jazz fusion. Dans les années 1970, des musiciens de jazz tels que Herbie Hancock, Joe Zawinul, Jan Hammer et Chick Corea ont commencé à utiliser des synthétiseurs électroniques dans leurs chansons.
Au début des années 1980, un nouveau style de jazz fusion appelé « pop fusion » a commencé à être joué. Ce nouveau style de pop fusion était plus doux et plus lent que la fusion du début des années 1970. La pop fusion était beaucoup plus diffusée à la radio que la fusion du début des années 1970. Les musiciens de pop fusion comprennent Lee Ritenour, Al Jarreau, Kenny G, Bob James et David Sanborn.Steve Vai était une icône du jazz fusion dans les années 1980 et jouait de nombreux instrumentaux de jazz fusion à base de guitare.