Joel McKinnon Miller est né à Rockford, Minnesota, le . Il a pris des cours de chant d'opéra dans sa jeunesse et est plus tard allé à l'Université du Minnesota à Duluth, où il a étudié le théâtre. Il a abandonné son cursus en 1980, avant de revenir finir ses études et valider son diplôme en 2007[1].
Joel McKinnon Miller se fait notamment remarquer dans la série Las Vegas, dans laquelle il interprète le personnage de Lyle Nubbin. Il s'est fait remarquer comme invité dans de nombreuses séries depuis, parmi lesquelles X-Files ou American Horror Story. Il a également joué dans le téléfilm Secret Santa, et a obtenu des seconds rôles dans les longs-métrages The Truman Show, Galaxy Quest, Rush Hour 2 et Men in Black II. Entre 2006 et 2011, il apparaît pendant 46 épisodes dans la série Big Love, où il interprète Don Embry. Il joue depuis 2013 le personnage de Norm Scully dans la série Brooklyn Nine-Nine.