A Caol Ila a gael Caol Ìle szóból származik, ami az “Islay hangja” (szó szerint “Islay-szoros”), utalva a lepárlónak az Islay és Jura közötti szorosra néző elhelyezkedésére. Hector Henderson alapította 1846-ban. A szeszfőzde nem járt jól, és 1854-ben gazdát cserélt, amikor Norman Buchanan, az Isle of Jura Distillery tulajdonosa vette át. 1863-ban az üzletet a glasgow-i Bulloch Lade & Co. vásárolta meg, amely whiskykészletekkel kereskedett. Az 1871-es népszámlálás szerint Duncan Johnston volt ekkor a szeszfőzde vezetője. Duncan a Lagavulin-i John Johnston unokaöccse és a Laphroaig Johnstonék unokatestvére volt, így a család egy újabb szeszfőzdében vett részt a szigeten. 1880-as évekre évente több mint 147 000 birodalmi gallon (670 000 liter) whisky készült itt.
1920-ban a Bulloch Lade önkéntes felszámolás alá került, és üzletemberek konzorciuma megalakította a Caol Ila Distillery Company Ltd. nevű céget. A Distillers Company 1927-ben irányító részesedést szerzett a Caol Ila-ban, majd 1930-ban a Scottish Malt Distillers Ltd. megszerezte az összes részvény tulajdonjogát. A lepárlóüzem a második világháború alatt, 1942 és 1945 között bezárt, mivel a háború idején korlátozták a lepárlók árpával való ellátását. Ezután a termelés 1972-ig folytatódott, amikor a szeszfőzde teljes épületét lebontották. Ezután egy nagyobb szeszfőzdét építettek, amelyet George Leslie Darge tervezett, ugyanabban az építészeti stílusban, mint sok más szeszfőzdét, a szeszfőzőházakra jellemző üvegezett függönyfalakkal, és a termelés 1974-ben folytatódott. A vállalat végül a Diageo részévé vált.