Ha iniziato la sua carriera come allievo di Laurence Olivier al Royal National Theatre ed è apparso in molte rappresentazioni di opere shakespeariane come Otello, Amleto, Macbeth e Coriolano. Le sue numerose interpretazioni sul palcoscenico, gli fecero ottenere tredici candidature all'Olivier Award, vincendolo tre volte: per L'opera del seduttore (1985), Uno sguardo dal ponte (1987) e Man of the Moment (1990). Nel 1997, ha debuttato a Broadway nello spettacolo Skylight di David Hare, ottenendo una candidatura al Tony Award al miglior attore.

Ha debuttato al cinema nel 1965, prendendo parte a Otello. I suoi altri film importanti includono Il cuoco, il ladro, sua moglie e l'amante (1989), Le ali dell'amore (1997), Insider - Dietro la verità (1999), Il mistero di Sleepy Hollow (1999), Gosford Park (2001), Le avventure acquatiche di Steve Zissou (2004), Fantastic Mr. Fox (2009), Il discorso del re (2010), Quartet (2012) e Victoria & Abdul (2017), ma ha raggiunto la definitiva consacrazione per l'interpretazione di Albus Silente nella saga di Harry Potter a partire dal terzo film.

Gambon ha lavorato molto anche in televisione e ha vinto quattro Premi BAFTA per The Singing Detective (1986), Wives and Daughters (1999), Longitude (2000) e Perfect Strangers (2001). Ha anche ricevuto due nomination ai Primetime Emmy Award per Path to War - L'altro Vietnam (2002) ed Emma (2009). Per il primo ha ottenuto anche una candidatura ai Golden Globe. Tra gli altri progetti a cui ha preso parte figurano Maigret (1992-1993), Angels in America (2003), Cranford (2007), Il seggio vacante (2015) e Fortitude (2015-2017).

Nel 1998 è stato nominato cavaliere dalla regina Elisabetta II per i servizi resi al teatro, nel 2017, ha ricevuto l'Irish Film & Television Academy Lifetime Achievement Award e nel 2020 è stato inserito al numero 28 nella lista dei più grandi attori cinematografici irlandesi stilata dall'Irish Times.