Walter Smith játékosként a Dundee Unitednél töltötte a legmeghatározóbb éveit, innen is vonult vissza. Edzősködését az U18-as skót válogatottnál kezdte 1978-ban. Nyolc évvel később, a mexikói világbajnokságon már Sir Alex Ferguson segítője volt. Még azon a nyáron szerződött a Rangershez másodedzőként.
1991-ben átvette a glasgow-iak irányítását, mert az addigi menedzser, Graeme Souness a Liverpoolnál kapott állást. Smith a Rangersnél töltött első időszakában (1991–1998) hét bajnoki címig jutott, s az 1992–1993-as idényben egy ponttal maradtak le a Bajnokok Ligája döntőjéről, amelyet éppen az előttük végző Marseille nyert meg.
1998-ban a Premier League-ben szereplő Evertonhoz szerződött, amellyel nem sikerült maradandót alkotnia, így négy évvel később menesztették. 2004 decemberében kinevezték a skót felnőttválogatott élére, amelyet ugyan hozzásegítette, hogy 70 helyet előrébb lépjen a világranglistán, de a 2006-os vb-szereplés nem jött össze.
A skót szakember 2007-ben visszatért korábbi sikereinek helyszínére, s további három alkalommal bajnokságot, kétszer Skót Kupát, háromszor skót Ligakupát nyert a glasgow-iakkal,
