Марк Гармон народився в Каліфорнії. Повне ім'я — Томас Марк. Батько Марка Гармона був відомим футболістом, найкращим гравцем 1940 року, мати — акторка Еліза Нокс. У нього дві старші сестри: старша Крістін Нельсон, яка згодом стала художницею, і молодша Келлі Гармон — фотомодель. Вивчав маркетинг і комунікації в Каліфорнійському університеті в Лос-Анджелесі, який закінчив у 1974 році з відзнакою. Грав у футбол, виступав за студентську збірну. Марк Гармон — дворазовий чемпіон Небраски з футболу, володар Національної футбольної премії 1973 року. Дебютував у кіно та на телебаченні в 1975 році. У ранніх роботах використовувалися яскраві зовнішні дані актора, грав переважно поліцейських і лікарів. У 1977 році за невелику роль у телевізійному фільмі «Елеонор і Франклін: Роки в Білому домі» він був уперше номінований на премію «Еммі». У 1979 році Гармон грав одну з головних ролей, помічника шерифа, в серіалі про поліцейських «240-Роберт», у 1980 році знімався в мильній опері «Фламінго-Роуд». З 1983 по 1986 роки грав лікаря в серіалі про роботу лікарні «Сент-Елсвер».

У 1987 році Гармон знявся в чотирьох епізодах комедійно-детективного серіалу «Детективне агентство „Місячне світло“». З 1991 по 1993 роки він грав поліцейського в серіалі «Обґрунтовані сумніви», його персонаж і героїня Марлі Метлін були центральними в серіалі. У 1996-2000 роках Гармон знову грав роль лікаря в медичній драмі «Надія Чикаго», у 2002 році — агента секретної служби в серіалі «Західне крило». У 2003 році з'явився в серіалі «Воєнно-юридична служба» в ролі спеціального агента служби кримінальних розслідувань ВМС США Лероя Джетро Гіббса, того ж року почався показ серіалу «Морська поліція: Спецвідділ», у якому цей герой у виконанні Гармона є одним із центральних. Марк часто знімався в кіно, але переважно це були ролі другого плану. Також він грав у театральних постановках, зокрема разом зі своєю дружиною. З 1995 року виступає як продюсер і режисер окремих сезонів телесеріалів зі своєю участю. 21 березня 1987 року Гармон одружився з акторкою Пем Доубер. У них двоє дітей: Шон (1988 р.) і Тай Крістіан (1992 р.).