Caol Ila je odvozeno z gaelského Caol Ìle pro „Sound of Islay“ (doslova „Islayská úžina“) v odkazu na polohu palírny s výhledem na úžinu mezi ostrovy Islay a Jura. Lihovar založil v roce 1846 Hector Henderson. Palírně se příliš nedařilo a v roce 1854 změnila majitele, když ji převzal Norman Buchanan, majitel palírny Isle of Jura. V roce 1863 podnik získala společnost Bulloch Lade & Co z Glasgow, obchodující se zásobami whisky. Podle sčítání lidu z roku 1871 byl v té době ředitelem palírny Duncan Johnston. Duncan byl synovcem Johna Johstona z Lagavulinu a bratrancem Johnstonů z Laphroaigu, a tak se tato rodina podílela na dalším lihovaru na ostrově. v 80. letech 19. století se zde ročně vyrobilo přes 147 000 imperiálních galonů (670 000 l) whisky.
V roce 1920 vstoupila společnost Bulloch Lade do dobrovolné likvidace a konsorcium podnikatelů založilo společnost Caol Ila Distillery Company Ltd. (Caol Ila). V roce 1927 získala společnost Distillers Company kontrolní podíl ve společnosti Caol Ila a v roce 1930 získala společnost Scottish Malt Distillers Ltd vlastnictví všech akcií. Lihovar byl uzavřen během druhé světové války v letech 1942-1945 kvůli válečným omezením dodávek ječmene lihovarům. Od té doby výroba pokračovala až do roku 1972, kdy byl celý objekt lihovaru zbourán. Poté byla postavena větší palírna, kterou navrhl George Leslie Darge ve stejném architektonickém stylu jako mnoho jiných, s jeho charakteristickými prosklenými závěsy na palírnách, a výroba byla obnovena v roce 1974. Společnost se nakonec stala součástí společnosti Diageo.