El jazz fusión comenzó a finales de la década de 1960 en los Estados Unidos. A finales de la década de 1960, músicos de jazz como Miles Davis y una banda llamada The Tony Williams Lifetime comenzaron a utilizar instrumentos eléctricos como el bajo eléctrico y el piano eléctrico en su música de jazz. Además, los músicos de jazz empezaron a añadir ritmos o compases de la música soul, el rhythm and blues y el rock a su música de jazz. Dos álbumes importantes de jazz fusión son In a Silent Way y Bitches Brew.
En la década de 1970, más gente empezó a tocar jazz fusión. Se hizo más popular, por lo que más gente empezó a escuchar jazz fusión y a ir a conciertos de jazz fusión. En la década de 1970, músicos de jazz como Herbie Hancock, Joe Zawinul, Jan Hammer y Chick Corea empezaron a utilizar sintetizadores electrónicos en sus canciones.
A principios de la década de 1980, se empezó a tocar un nuevo estilo de jazz fusión llamado «pop fusion». Este nuevo estilo de fusión pop era más suave y lento que la fusión de principios de los años 70. La fusión pop se escuchaba mucho más en la radio que la fusión de principios de la década de 1970. Entre los músicos de la fusión pop se encuentran Lee Ritenour, Al Jarreau, Kenny G, Bob James y David Sanborn.Steve Vai fue un icono de la fusión de jazz en la década de 1980 y tocó numerosos instrumentos de fusión de jazz basados en la guitarra.