D'origine britannique, Jake Weber poursuit des études aux États-Unis, d'abord en lettres et sciences politiques, puis en art dramatique. Sur la scène new-yorkaise dès 1988, il partage sa carrière entre théâtre et cinéma. Il fait sa première apparition sur grand écran dans Né un 4 juillet (1989) d'Oliver Stone, et débute à Broadway en 1992 dans la pièce "A Small Family Business". Après une Rencontre avec Joe Black en 1998, il plonge deux ans plus tard avec Matthew McConaughey dans U-571 avant d'incarner un agent du FBI dans le thriller psychologique The Cell (2000). En 2004, il combat des zombies dans L'Armée des morts.

Côté séries, Jake Weber apparaît dans New York District en 1990, puis obtient un rôle régulier dans deux séries arrêtées avant la fin de leur 1ère saison : Something Wilder (1994) et American Gothic (1995). En 2005, la série Medium lui apporte davantage de réussite ; il y interprète le mari de la voyante Allison DuBois (Patricia Arquette).