Caol Ila é derivado de Caol Gaélico Ìle para “Sound of Islay” (iluminado “Estreito das Ilhas”) em referência à localização da destilaria com vista para o estreito entre as Ilhas Islay e o Jura. Foi fundada em 1846 por Hector Henderson. A destilaria não se deu bem, e mudou de mãos em 1854 quando Norman Buchanan, proprietário da destilaria da Ilha do Jura, tomou posse. Em 1863 o negócio foi adquirido por Bulloch Lade & Co, de Glasgow, comerciantes de whisky. De acordo com o censo de 1871, Duncan Johnston era o gerente da destilaria na época. Duncan era sobrinho de John Johnston de Lagavulin e primo do Laphroaig Johnstons e por isso a família estava envolvida com mais uma destilaria na ilha. Na década de 1880 mais de 147.000 galões imperiais (670.000 L) de whisky eram produzidos lá todos os anos.
Em 1920 Bulloch Lade entrou em liquidação voluntária, e um consórcio de empresários formou a Caol Ila Distillery Company Ltd. Em 1927, a Distillers Company adquiriu uma participação de controlo na Caol Ila, e em 1930 a Scottish Malt Distillers Ltd obteve a propriedade de todas as acções. A destilaria fechou durante a Segunda Guerra Mundial, de 1942 a 1945, devido a restrições em tempo de guerra no fornecimento de cevada aos destiladores. A partir daí, a produção continuou até 1972, quando toda a estrutura da destilaria foi demolida. Uma destilaria maior foi então construída, projetada por George Leslie Darge no mesmo estilo arquitetônico que muitas de suas outras, com suas paredes de cortina envidraçadas para as casas-mortas, e a produção foi retomada em 1974. A empresa acabou por se tornar parte da Diageo.