Der Stürmer begann seine Karriere 1973 bei Dundee United, wo er in zwei Spielzeiten 46 Treffer erzielte und unter anderem das schottische FA-Cup Finale gegen Celtic Glasgow erreichte, jedoch unterlagen „The Terroers“ 0:3.
Zur Saison 1975/76 wechselte Gray nach Birmingham zu Aston Villa, wo er bereits in seiner zweiten Saison mit 25 Treffern Torschützenkönig wurde. Ein Jahr später erzielte er sogar 29 Tore und wurde in England zum Nachwuchsspieler des Jahres und von seinen Kollegen zum Fußballer des Jahres gewählt.
1979 wechselte Gray für die damalige britische Rekordtransferablöse von 1,5 Millionen £ zu den Wolverhampton Wanderers und blieb dort trotz eines zwischenzeitlichen Abstiegs in die zweite Liga und sofortigen Wiederaufstiegs vier Jahre lang, wobei er mit seinem Siegtor im Ligapokalfinale 1980 den „Wolves“ zumindest noch einen Titel sicherte.
Daraufhin spielte Gray zwei Jahre beim FC Everton, mit denen er den FA-Cup, die Liga und den Europapokal der Pokalsieger gewann.
Insgesamt bestritt Gray 20 Spiele für Schottland und erzielte dabei sieben Tore. Er debütierte am 17. Dezember 1975 gegen Rumänien und schoss bei seinem dritten Länderspiel bei einem 6:0-Kantersieg gegen Finnland gleich seine ersten zwei Tore für die Bravehearts. Seinen letzten internationalen Einsatz bestritt er am 28. Mai 1985 gegen Island.
Obwohl Gray immer wieder mal für Schottland zum Einsatz kam, wurde er nie für eine Weltmeisterschaft nominiert.
Nach der Aktiven-Karriere
Nach seinem Engagement bei Cheltenham wurde Gray Co-Trainer bei Aston Villa, begann jedoch 1990 zeitgleich schon seine Fernseh-Karriere mit Sky Sports, das sich damals noch im Aufbau befand und heute einer der größten Pay-TV-Sender der Welt ist. Für seine Arbeit wurde er 1996 mit dem Presenter of the Year Award ausgezeichnet.
Gray ist besonders für seine lebhaften Kommentare bekannt und beliebt und hat neben dem Fernsehen auch beim Radio (BBC Radio 5 Live und talkSPORT) und in der Filmindustrie (A Shot at Glory; Schottischer Fußballfilm, 2001) gearbeitet.
Dazu hat er die Kommentare für die englische Versionen der virtuellen Fußballspiele FIFA98, 02, 06, 07, 08, 09, 10 sowie 11 beigesteuert.
Gray hat fünf Kinder mit vier verschiedenen Frauen, mit denen er entweder verheiratet oder länger liiert war, was ihm einen Ruf als Frauenheld eingebracht hat.
Erst war er mit Vanessa Taylor und Jacqueline Cherry verheiratet, hatte zwei weitere Kinder mit Sara Matthews und Janet Trigg und verliebte sich dann 1999 in die ehemalige Turnerin Suzanne Dando, als sie mit ihm zusammen beim Fernsehen arbeiteten. Inzwischen ist er mit dem Ex-Model Rachel Lewis befreundet, der Ex-Frau seines Beraters.
