Caol Ila deriva dal gaelico Caol Ìle per “Sound of Islay” (lett. “Stretto di Islay”) in riferimento alla posizione della distilleria che domina lo stretto tra Islay e Jura. Fu fondata nel 1846 da Hector Henderson. La distilleria non se la passò bene, e cambiò di mano nel 1854 quando Norman Buchanan, proprietario della distilleria Isle of Jura, la rilevò. Nel 1863 l’attività fu acquisita da Bulloch Lade & Co, di Glasgow, commercianti di stock di whisky. Secondo il censimento del 1871, Duncan Johnston era il direttore della distilleria a quel tempo. Duncan era il nipote di John Johnston di Lagavulin e cugino dei Laphroaig Johnston e così la famiglia era coinvolta in un’altra distilleria sull’isola. Negli anni 1880, oltre 147.000 galloni imperiali (670.000 L) di whisky venivano prodotti ogni anno.
Nel 1920 Bulloch Lade andò in liquidazione volontaria, e un consorzio di uomini d’affari formò la Caol Ila Distillery Company Ltd. Nel 1927 la Distillers Company acquisì una partecipazione di controllo in Caol Ila, e nel 1930 la Scottish Malt Distillers Ltd ottenne la proprietà di tutte le azioni. La distilleria chiuse durante la seconda guerra mondiale, dal 1942 al 1945, a causa delle restrizioni belliche sulla fornitura di orzo ai distillatori. Da allora, la produzione continuò fino al 1972, quando l’intera struttura della distilleria fu demolita. Fu poi costruita una distilleria più grande, progettata da George Leslie Darge nello stesso stile architettonico di molte delle sue altre, con le sue caratteristiche pareti vetrate per le case di distillazione, e la produzione riprese nel 1974. L’azienda alla fine divenne parte di Diageo.