Caleb Casey Affleck nasce il 12 agosto del 1975 a Falmouth, secondogenito dell'insegnante Christine Anne Boldt e di Timothy Byers Affleck; il fratello maggiore è il famoso attore e regista Ben. Studia presso la George Washington University e successivamente segue gli studi di fisica e astronomia alla Columbia University.

Dopo alcune produzioni televisive, esordisce nel 1995 interpretando un ragazzo sociopatico nel film di Gus Van Sant Da morire, accanto a Nicole Kidman e all'amico Joaquin Phoenix. Il film segnerà un'importante svolta nella sua vita: la pellicola è infatti la prima di tre, in cui viene diretto da Gus Van Sant, diventandone l'attore prediletto. In quegli anni recita in alcune produzioni al fianco del fratello Ben, tra cui In cerca di Amy di Kevin Smith e Will Hunting - Genio ribelle di Gus Van Sant.

Nel 2000 è stato tra i protagonisti di Lui, lei e gli altri, accanto a Heather Graham e alla sua attuale moglie, Summer Phoenix, che interpreta un piccolo ruolo nel film. Nello stesso anno sempre insieme con Summer e l'amico Matt Damon è protagonista della pièce teatrale This is Our Youth. Ha preso parte alle commedie American Pie e American Pie 2, mentre nel 2001 è nel cast di Ocean's Eleven - Fate il vostro gioco di Steven Soderbergh; sempre nel 2001 recita nel thriller Soul Survivors - Altre vite con Luke Wilson e Eliza Dushku. Nel 2002 scrive insieme con l'amico Matt Damon la sceneggiatura del film Gerry, diretto da Gus Van Sant, di cui è protagonista (insieme con Matt Damon). Il film, che concorre al Sundance Film Festival ed esce magicamente criticato da tutti i festival di film indipendenti, gli conferisce una grandissima notorietà.

Nel 2004 torna a interpretare Virgil Malloy in Ocean's Twelve, mentre nel 2005 Steve Buscemi lo dirige in Lonesome Jim, film indipendente, di cui è protagonista insieme con Liv Tyler. Nel 2006 si unisce al cast di The Last Kiss, remake del più noto film italiano di Gabriele Muccino, interpretando il ruolo di Chris, che era stato nel film originale di Giorgio Pasotti e l'anno successivo gira Ocean's Thirteen. Sempre nel 2007 viene diretto dal fratello Ben in Gone Baby Gone, mentre l'anno dopo interpreta il protagonista Robert Ford nel film di Andrew Dominik, L'assassinio di Jesse James per mano del codardo Robert Ford, accanto a Brad Pitt, ruolo che gli vale una nomination all'Oscar 2008 e al Golden Globe.

Nel 2010 viene presentato, fuori concorso, alla 67ª Mostra internazionale d'arte cinematografica di Venezia, il suo documentario Joaquin Phoenix - Io sono qui! dedicato alla "trasformazione" da attore in cantante rap del cognato e grande amico Joaquin Phoenix. Nello stesso anno è protagonista di The Killer Inside Me, diretto da Michael Winterbottom, accanto a Jessica Alba e Kate Hudson. Il film viene presentato al Sundance Film Festival, al Tribeca Film Festival e al Festival internazionale del cinema di Berlino. Nel 2011 esce Tower Heist - Colpo ad alto livello, in cui Casey recita accanto a Ben Stiller.

Nel 2016 recita accanto a Michelle Williams, nel film drammatico Manchester by the Sea, diretto da Kenneth Lonergan, per il quale si aggiudica il Golden Globe nella sezione miglior attore in un film drammatico[2], il BAFTA al miglior attore protagonista[3] e il Premio Oscar al miglior attore protagonista