Caol Ila kommer från gaeliska Caol Ìle för ”Sound of Islay” (lit. ”Islay Strait”) med hänvisning till destilleriets läge med utsikt över sundet mellan Islay och Jura. Det grundades 1846 av Hector Henderson. Destilleriet gick inte bra och bytte ägare 1854 när Norman Buchanan, ägare av Isle of Jura Distillery, tog över. År 1863 förvärvades företaget av Bulloch Lade & Co, från Glasgow, som handlade med whiskylager. Enligt folkräkningen 1871 var Duncan Johnston destillerichef vid den tidpunkten. Duncan var brorson till John Johnston från Lagavulin och kusin till Johnston från Laphroaig, så familjen var involverad i ännu ett destilleri på ön. 1880-talet producerades över 147 000 imperial gallons (670 000 liter) whisky där varje år.
1920 gick Bulloch Lade i frivillig likvidation och ett konsortium av affärsmän bildade Caol Ila Distillery Company Ltd. År 1927 förvärvade Distillers Company ett kontrollerande intresse i Caol Ila, och 1930 fick Scottish Malt Distillers Ltd äganderätt till alla aktier. Destilleriet stängdes under andra världskriget, från 1942 till 1945, på grund av krigsrestriktioner på leverans av korn till destillatörer. Därefter fortsatte produktionen fram till 1972, då hela destilleriet revs. Därefter byggdes ett större destilleri, designat av George Leslie Darge i samma arkitektoniska stil som många av hans andra destillerier, med hans kännetecknande glasade gardinväggar till destillationshusen, och produktionen återupptogs 1974. Företaget blev så småningom en del av Diageo.