Der Verein wurde 1869 als Cricketclub gegründet. Die Fußballabteilung gründete sich 1873. Nachdem man von 1900 bis zur kriegsbedingten Pause 1940 in der höchsten Spielklasse, der „Scottish League Division 1“, gespielt hatte, stieg Kilmarnock in der ersten Nachkriegssaison ab.
Es folgte von 1954 bis 1977 eine längere Zugehörigkeit zur Division 1. In dieser Zeit konnte man 1965 den bis heute einzigen Meistertitel holen. Anschließend war der FC Kilmarnock eine Fahrstuhlmannschaft.
Der höchsten Spielklasse Schottlands, der Scottish Premier League, gehört der Verein ununterbrochen seit 1993 an.
1997 gewann der Kilmarnock Football Club überraschend den ersten Titel seit 32 Jahren und wurde zum dritten Mal schottischer Pokalsieger.
2012 gewann der Kilmarnock Football Club zum ersten Mal den Schottischen Ligacup im Final gegen den haushohen Favoriten Celtic mit 1:0.
