Stoll è nato e cresciuto come ebreo nell'Upper West Side di New York[1][2]. Nel 1998 si è diplomato all'Oberlin College, mentre nel 2003 ha ricevuto la laurea per il Programma di Recitazione della Tisch School of the Arts, una delle 15 scuole che compongono la New York University[3]. Dal 1988 al 1992, aveva studiato recitazione al Long Lake Camp For The Arts. Ha debuttato al cinema nel 2005 con il film North Country - Storia di Josey; ha recitato in diversi lungometraggi al cinema, come Slevin - Patto criminale, Brief Interviews with Hideous Men e Push. Nel 2010, è apparso in Helena from the Wedding e Salt. In televisione nel 2005 ha fatto un'apparizione come guest star nell'episodio La strada di casa di Alias, e nell'episodio Sacrifice della serie Numb3rs[4].

Stoll ha avuto anche un ruolo fisso nella serie poliziesca della NBC Law & Order: LA, quello del detective del LAPD Thomas "TJ" Jaruszalski[5]. Stoll ha poi interpretato Ernest Hemingway nel film del 2011 di Woody Allen Midnight in Paris, che ha debuttato al Festival di Cannes; essendo quasi totalmente calvo, l'attore ha dovuto indossare una parrucca[6]. Dal 2013 al 2016 ha interpretato Peter Russo nella serie televisiva House of Cards - Gli intrighi del potere, pubblicata dal servizio di streaming Netflix. Dal 2014 al 2017 è il protagonista della serie televisiva horror The Strain, ideata da Guillermo del Toro e Chuck Hogan. Nel 2015 interpreta il villain Darren Cross, alias Calabrone nel film Ant-Man dei Marvel Studios. Nel giugno dello stesso anno sposa l'attrice Nadia Bowers, con cui quattro mesi dopo ha avuto un figlio. Nel 2016 recita nel film di Woody Allen Café Society, mentre nel 2018 in quello di Damien Chazelle First Man - Il primo uomo.