Caol Ila er afledt af det gæliske ord Caol Ìle for “Sound of Islay” (Lit. “Islay Strait”) med henvisning til destilleriets beliggenhed med udsigt over strædet mellem Islay og Jura. Det blev grundlagt i 1846 af Hector Henderson. Destilleriet klarede sig ikke godt og skiftede ejer i 1854, da Norman Buchanan, ejer af Isle of Jura-destilleriet, overtog det. I 1863 blev virksomheden overtaget af Bulloch Lade & Co. fra Glasgow, der handlede med whiskylagre. Ifølge folketællingen i 1871 var Duncan Johnston den daværende destilleribestyrer på det tidspunkt. Duncan var nevø til John Johnston fra Lagavulin og fætter til Laphroaig Johnstons, og familien var således involveret i endnu et destilleri på øen. 1880’erne blev der produceret over 147.000 britiske galloner (670.000 liter) whisky om året.
I 1920 gik Bulloch Lade i frivillig likvidation, og et konsortium af forretningsmænd dannede Caol Ila Distillery Company Ltd. I 1927 erhvervede Distillers Company en kontrollerende aktiepost i Caol Ila, og i 1930 fik Scottish Malt Distillers Ltd. ejerskab af alle aktierne. Destilleriet lukkede under Anden Verdenskrig fra 1942 til 1945 på grund af krigens restriktioner for levering af byg til destillationsvirksomhederne. Herefter fortsatte produktionen indtil 1972, hvor hele destilleriets struktur blev revet ned. Derefter blev der bygget et større destilleri, der blev designet af George Leslie Darge i samme arkitektoniske stil som mange af hans andre destillerier med hans varemærke, glaserede gardinvægge til destillationshusene, og produktionen blev genoptaget i 1974. Virksomheden blev til sidst en del af Diageo.