Caol Ila deriva del gaélico Caol Ìle para «Sound of Islay» (lit. «Estrecho de Islay») en referencia a la ubicación de la destilería con vistas al estrecho entre Islay y Jura. Fue fundada en 1846 por Hector Henderson. A la destilería no le fue bien y cambió de manos en 1854, cuando Norman Buchanan, propietario de la destilería de la isla de Jura, se hizo cargo de ella. En 1863 el negocio fue adquirido por Bulloch Lade & Co, de Glasgow, comerciantes de existencias de whisky. Según el censo de 1871, Duncan Johnston era entonces el director de la destilería. Duncan era sobrino de John Johnston de Lagavulin y primo de los Johnston de Laphroaig, por lo que la familia estaba involucrada en otra destilería de la isla. En la década de 1880 se producían allí más de 147.000 galones imperiales (670.000 L) de whisky al año.
En 1920 Bulloch Lade entró en liquidación voluntaria, y un consorcio de empresarios formó la Caol Ila Distillery Company Ltd. En 1927 la Distillers Company adquirió una participación mayoritaria en Caol Ila, y en 1930 Scottish Malt Distillers Ltd obtuvo la propiedad de todas las acciones. La destilería cerró durante la Segunda Guerra Mundial, de 1942 a 1945, debido a las restricciones del tiempo de guerra en el suministro de cebada a los destiladores. A partir de entonces, la producción continuó hasta 1972, cuando se demolió toda la estructura de la destilería. Se construyó entonces una destilería más grande, diseñada por George Leslie Darge en el mismo estilo arquitectónico que muchas de las suyas, con sus característicos muros de cortina acristalados en los alambiques, y la producción se reanudó en 1974. Con el tiempo, la empresa pasó a formar parte de Diageo.