Joe Mantegna nait dans une famille italo-américaine. Sa mère, Marie Ann, née Novelli, est commis d'expédition. Son père, Joseph Anthony Mantegna Sr, vend des assurances. D'abord attiré par la musique, il joue de la basse au sein du groupe Les Apocryphals, puis dans le groupe Chigaco. Il suit des études de lettres et obtient une licence de théâtre à la Goodman School of Drama de Chicago[1]. En 1969, il fait ses débuts au théâtre dans une adaptation de la comédie musicale Hair.
Parmi ses films marquants, on peut citer : Parrain d'un jour (1988) pour lequel il obtient la coupe Volpi du Meilleur acteur au festival de Venise, Alice de Woody Allen (1990), Le Parrain 3 (1990) de Francis Ford Coppola, Les Rois de Las Vegas (1998), Le Monde de Joan (2003-2005) et Stateside. On le connait aussi pour prêter sa voix au personnage de Gros Tony dans la série Les Simpson. En 2007, il a remplacé au pied levé Mandy Patinkin lors de sa défection surprise dans Esprits criminels et depuis il interprète le rôle de David Rossi, un des fondateurs de cette cellule spéciale, le BAU (Behavioral Analysis Unit, bureau d'analyse comportementale), une branche du FBI.