Caol Ila on johdettu gaelin kielen sanoista Caol Ìle, joka tarkoittaa ”Sound of Islay” (kirjaimellisesti ”Islay Strait”) viitaten tislaamon sijaintiin Islayn ja Juran välisen salmen yläpuolella. Hector Henderson perusti sen vuonna 1846. Tislaamo ei menestynyt hyvin, ja se vaihtoi omistajaa vuonna 1854, kun Isle of Juran tislaamon omistaja Norman Buchanan otti sen haltuunsa. Vuonna 1863 liiketoiminnan osti Glasgow’ssa toimiva Bulloch Lade & Co, joka kävi kauppaa viskivarastoilla. Vuoden 1871 väestönlaskennan mukaan Duncan Johnston oli tuolloin tislaamon johtaja. Duncan oli Lagavulinin Johnstonin Johnstonin veljenpoika ja Laphroaigin Johnstonien serkku, joten perhe oli mukana vielä yhdessä tislaamossa saarella. 1880-luvulle tultaessa siellä tuotettiin vuosittain yli 147 000 brittiläistä gallonaa (670 000 litraa) viskiä.
Vuonna 1920 Bulloch Lade asetettiin vapaaehtoiseen selvitystilaan, ja liikemiesten yhteenliittymä perusti Caol Ila Distillery Company Ltd.:n. Se perusti Caol Ila Distillery Companyn. Vuonna 1927 Distillers Company hankki määräysvallan Caol Ilassa, ja vuonna 1930 Scottish Malt Distillers Ltd sai omistukseensa kaikki osakkeet. Tislaamo suljettiin toisen maailmansodan aikana vuosina 1942-1945, koska sota-aikana tislaajille toimitettua ohraa rajoitettiin. Sen jälkeen tuotanto jatkui vuoteen 1972 asti, jolloin tislaamon koko rakennus purettiin. Sen jälkeen rakennettiin suurempi tislaamo, jonka George Leslie Darge suunnitteli samaan arkkitehtoniseen tyyliin kuin monet muutkin tislaamot, ja tislaamojen lasitetut verhoseinät olivat hänen tavaramerkkinsä, ja tuotanto aloitettiin uudelleen vuonna 1974. Yrityksestä tuli lopulta osa Diageota.