Caol Ila leitet sich vom gälischen Caol Ìle für „Sound of Islay“ (wörtlich: „Islay Strait“) ab und bezieht sich auf die Lage der Brennerei mit Blick auf die Meerenge zwischen Islay und Jura. Gegründet wurde sie 1846 von Hector Henderson. Der Brennerei ging es nicht gut und sie wechselte 1854 den Besitzer, als Norman Buchanan, der Eigentümer der Isle of Jura Distillery, sie übernahm. Im Jahr 1863 wurde das Unternehmen von Bulloch Lade & Co. aus Glasgow, einem Händler von Whisky-Aktien, übernommen. Laut der Volkszählung von 1871 war Duncan Johnston zu dieser Zeit der Leiter der Brennerei. Duncan war der Neffe von Johnston von Lagavulin und ein Cousin der Johnstons von Laphroaig, und so war die Familie an einer weiteren Brennerei auf der Insel beteiligt.
In den 1880er Jahren wurden dort jährlich über 147.000 Imperial Gallons (670.000 Liter) Whisky hergestellt.
1920 ging Bulloch Lade in freiwillige Liquidation, und ein Konsortium von Geschäftsleuten gründete die Caol Ila Distillery Company Ltd. Im Jahr 1927 erwarb die Distillers Company eine Mehrheitsbeteiligung an Caol Ila, und 1930 erwarb die Scottish Malt Distillers Ltd alle Anteile. Die Brennerei wurde während des Zweiten Weltkriegs von 1942 bis 1945 geschlossen, da die Versorgung der Brennereien mit Gerste während des Krieges eingeschränkt war. Von da an wurde die Produktion bis 1972 fortgesetzt, als die gesamte Struktur der Brennerei abgerissen wurde. Danach wurde eine größere Brennerei gebaut, die von George Leslie Darge im gleichen architektonischen Stil wie viele seiner anderen Werke entworfen wurde, mit den für ihn typischen verglasten Vorhangwänden an den Brennereigebäuden, und die Produktion wurde 1974 wieder aufgenommen. Das Unternehmen wurde schließlich Teil von Diageo.