Né le 2 Octobre 1951 à Burbank en Californie.
Mark a commencé en tant que footballeur sur les traces de son père, Tom Harmon. Il était dans l’équipe de l’Université de Los Angeles. Quelques années plus tard il se découvrira une passion pour la comédie comme sa mère, l’actrice star des années 40, Elyse Knox.
En 1975, il fait sa première apparition dans "Emergency" avant de décrocher un premier rôle dans "Comes a Horseman" (1978), mais ces rôles ne lui apporteront pas la gloire.
Familier du petit écran, il y a incarné un grand nombre de personnages et a notamment été nommé à l’Emmy du meilleur acteur en guest star dans une série pour "West Wing/A la Maison Blanche".
En 1991, il remporte un Golden Globe pour son interprétation dans la série "Reasonable Doubts".
C’est grâce à "Summer School" (1998) où il joue un professeur et à "The Prisido", qu’il sort de l’ombre.
On a pu le voir deux fois dans « La croisière s’amuse » puis dans "St Elsewhere" et "Chicago" où il joue un rôle de médecin.
En 2003, il obtient le rôle de Leroy Jethro GIBBS, pour deux épisodes, dans la série JAG. Ceci lui a permis de continuer dans le spin-off "NCIS : enquêtes spéciales".
Côté théâtre, il s’est produit dans "Key Exchange" de Kevin Wade, "Wrestlers" de Bill C. Davis, et "The Wager" de Mark Medoff. Il a joué dans plusieurs productions à succès de la pièce de A.R. Gurney "Love Letters" avec son épouse, la comédienne Pam Dawber.
En 1986, il a été élu l'homme le plus sexy de l'Année par le magazine américain People.
Il est diplômé en Communication de l’UCLA.