Thomas Mark Harmon, 2 Eylül 1951 tarihinde Burbank, Kaliforniya, ABD'de dünyaya gelmiştir. Eğlence ve spor dünyasına yakın bir ailede büyüyen Harmon'ın babası, efsanevi Amerikan futbolu oyuncusu ve spor yorumcusu Tom Harmon, annesi ise aktris ve sanatçı Elyse Knox'tur. Gençliğinde babasının izinden giderek spora yönelen Harmon, UCLA (Kaliforniya Üniversitesi, Los Angeles) takımında başarılı bir oyun kurucu (quarterback) olarak dikkat çekmiş ve 1972-1973 yıllarında takımına liderlik etmiştir. Atletik yetenekleri ve disiplini, daha sonraki oyunculuk kariyerinde de yansımalarını bulacaktır.

Spor kariyerinin ardından oyunculuğa yönelen Mark Harmon, 1970'li yıllarda televizyon dizilerinde ve filmlerde küçük roller alarak sektöre adım atmıştır. "Ozzie's Girls", "Emergency!", "Adam-12" gibi yapımlarda yer alarak tecrübe kazanmıştır. 1980'lere gelindiğinde ise kariyerinde önemli bir yükseliş yaşamıştır. Özellikle 1983-1986 yılları arasında rol aldığı tıp draması "St. Elsewhere"deki Dr. Robert Caldwell karakteriyle geniş kitlelerce tanınmış ve eleştirmenlerin beğenisini kazanarak Emmy adaylığı elde etmiştir. Bu dönemde ayrıca "Moonlighting" (Mavi Ay) gibi popüler dizilerde konuk oyuncu olarak yer almış ve "Summer School" (1987) gibi filmlerle sinemada da boy göstermiştir. Karizması ve yeteneğiyle dikkat çeken Harmon, 1986 yılında People dergisi tarafından "Yaşayan En Seksi Erkek" seçilmiştir.

90'lı yıllarda "Reasonable Doubts", "Chicago Hope" gibi dizilerde başroller üstlenerek televizyondaki başarılı grafiğini sürdürmüş, "The West Wing" dizisindeki Ajan Simon Donovan rolüyle bir başka Emmy adaylığı daha kazanmıştır. Ancak Mark Harmon'ı dünya çapında bir ikon haline getiren ve kariyerinin zirvesi olarak kabul edilen rol, 2003 yılında başlamış ve televizyon tarihinin en uzun soluklu ve başarılı yapımlarından biri haline gelmiştir: "NCIS".

"NCIS" dizisinde canlandırdığı Özel Ajan Leroy Jethro Gibbs karakteri, Harmon'ın kariyerinde bir dönüm noktası olmuştur. Gibbs'in az konuşan, kararlı, prensip sahibi lider profili, kendine has kuralları ve ekibine olan bağlılığı, izleyiciler tarafından büyük bir sevgi ve saygıyla karşılanmıştır. Harmon, Gibbs karakterine kattığı derinlik, sakin güç ve karizmatik duruşla karakteri unutulmaz kılmış ve dizinin 18 yılı aşkın süre boyunca reytinglerin zirvesinde kalmasında kilit rol oynamıştır. Bu uzun soluklu performansıyla televizyonun en tanınan ve saygı duyulan yüzlerinden biri haline gelmiştir.