1846 wählte Hector Henderson, ein Destilleriebesitzer aus Glasgow, eine kleine Bucht im Islay-Sund als Standort für seine Destillerie. Er benannte sie nach dem Sund, auf Gälisch „Caol Ila“. In den folgenden zwei Jahrzehnten wechselte die Destillerie dreimal den Besitzer, wird umgebaut und erweitert. 1879 erhält Caol Ila einen eigenen Pier, an dem Dampfschiffe Rohstoffe anliefern und Whisky für den Verkauf auf dem Festland laden können, dies trug dazu bei, dass sich die Destillerie allmählich zur größten Brennerei auf Islay entwickeln konnte.
