Matthau je rođen 1920. kao Walter Matasschanskayasky, u obitelji židovskih doseljenika iz Rusije, u New Yorku. Radio je kao šumar i sportski trener, u ratu je bio zrakoplovni vezist, a na Broadwayu je debitirao 1948. Prvi film snimio je 1955. Na početku karijere uglavnom je igrao negativce, da bi ubrzo bio uočen njegov komičarski talent.
Najveće uspjehe u komedijama postigao je glumeći u paru s najboljim prijateljem Jackom Lemmonom. Za njihov prvi zajednički film, ?Kolačić sreće? (1966.) dobio je Oscara za epizodnu ulogu (bio je kandidat još dva puta, 1971. i 1975., a 1993. dobio je Nagradu za životno djelo američke udruge prikazivača).
Status legende stekao je filmom ?Čudnovati par? po drami Neila Simona, u kojem je maestralno odigrao neurednog sportskog novinara Oscara Madisona kojem se useljava razvedeni prijatelj čistunac (Lemmon). Nakon te uloge, koju je tri godine prije filma igrao u kazalištu, redaju se uspjesi: treća verzija ?Naslovne strane? s Lemmonom, romantična komedija ?Kaktusov cvijet? s Ingrid Bergman, ?Kalifornijski apartman?, baseball komedija ?Bad News Bears?, akcijski ?Charley Varrick?...
S Lemmonom je igrao i u remakeu francuske komedije ?Druškane, druškane? (1981.) i u dva filma o ?Starim gunđalima? (prvi dio 1993, nastavak 1995), a 1998. ponovo je odigrao svoju legendarnu ulogu, Oscara Madisona, u ?Čudnovatom paru 2?.
Glumio je senatora Longa u Stoneovom ?JFK-u?, Einsteina u ?IQ? i gospodina Wilsona u ?Dennisu napasti?. U ?Staklenoj harfi? 1995. doživio je da mu redatelj bude njegov sin Charlie. Posljednja uloga mu je bila u ?Hanging Up? prošle godine, s Diane Keaton, Meg Ryan i Lisom Kudrow, gdje je igrao njihovog umirućeg oca.
Legendarni redatelj Billy Wilder je za komičara ?s licem poput nenamještenog kreveta? rekao da je privatno jedno od najboljih ljudskih bića koje je sreo u životu, a velikan glume Jack Lemmon ovako ga je opisao: ?Kad god radim s Walterom, koji je savršen glumac, imam samo jedan problem, ali zato velik: ne mogu se smijati, ma koliko bih to htio, jer moram i ja glumiti.?
