James è nato a Columbus, Ohio. Poiché suo padre era un venditore, la famiglia trascorse gran parte della giovinezza di James in diverse città del Midwest e alla fine si stabilì a Oconomowoc, nel Wisconsin. Fu lì che nacque l'amore di James per il teatro.