La sua carriera iniziò sui palcoscenici di New York, sia Broadway che off-Broadway, dove interpretò ruoli come El Gallo in The Fantasticks (1960), Billy Flynn in Chicago (1975-1977) e Julian Marsh in 42nd Street (1980-1985). Candidato per tre Tony Award, lo vinse nel 1969 per la sua interpretazione di Chuck Baxter in Promises, Promises (1968-1972).

Successivamente interpretò ruoli secondari in film come Il principe della città (1981), Dirty Dancing - Balli proibiti (1987), Crimini e misfatti (1989) e nel 1991 prestò la sua voce al personaggio Lumière nel classico Disney La bella e la bestia. Partecipò in qualità di guest star a svariate serie televisive come La signora in giallo (tra il 1985 e il 1991), dove interpretava il detective privato Harry McGraw. Il personaggio ottenne una propria serie intitolata Provaci ancora, Harry, andata in onda per una stagione tra il 1987 e il 1988, ma divenne famoso in tutto il mondo per il ruolo del detective della polizia di New York Lennie Briscoe nella serie televisiva Law & Order - I due volti della giustizia, che interpretò per dodici stagioni, dal 1992 al 2004.