Caol Ila is afgeleid van het Gaelische Caol Ìle voor “Sound of Islay” (letterlijk: “Straat van Islay”), verwijzend naar de ligging van de distilleerderij met uitzicht op de zeestraat tussen Islay en Jura. De distilleerderij werd in 1846 opgericht door Hector Henderson. Het ging niet goed met de distilleerderij, die in 1854 in andere handen overging toen Norman Buchanan, eigenaar van de Isle of Jura Distillery, het stokje overnam. In 1863 werd het bedrijf overgenomen door Bulloch Lade & Co, uit Glasgow, handelaren in whiskyvoorraden. Volgens de volkstelling van 1871 was Duncan Johnston op dat moment de manager van de distilleerderij. Duncan was de neef van John Johnston van Lagavulin en een neef van de Johnstons van Laphroaig, zodat de familie betrokken was bij nog een distilleerderij op het eiland.Tegen de jaren 1880 werd daar jaarlijks meer dan 147.000 imperial gallons (670.000 L) whisky geproduceerd.
In 1920 ging Bulloch Lade over tot vrijwillige liquidatie, en een consortium van zakenlieden vormde de Caol Ila Distillery Company Ltd. In 1927 verwierf de Distillers Company een meerderheidsbelang in Caol Ila, en in 1930 kreeg Scottish Malt Distillers Ltd alle aandelen in handen. De distilleerderij werd tijdens de Tweede Wereldoorlog, van 1942 tot 1945, gesloten vanwege de in oorlogstijd geldende beperkingen op de levering van gerst aan distilleerders. Vanaf dat moment werd de productie voortgezet tot 1972, toen de volledige structuur van de distilleerderij werd afgebroken. Daarna werd een grotere distilleerderij gebouwd, ontworpen door George Leslie Darge in dezelfde architectonische stijl als veel van zijn andere distilleerderijen, met zijn kenmerkende glazen vliesgevels voor de distilleerketels, en de productie werd hervat in 1974. Het bedrijf werd uiteindelijk onderdeel van Diageo.