Заслужений артист РРФСР (1969). Народний артист РРФСР (29.03.1977). Народний артист СРСР (31.01.1985). Старша сестра — акторка Римма Маркова. У 1931–1934 роках грав дитячі ролі у виставах Саратовського драматичного театру, де працював актором його батько В. Д. Марков. У 1945–1947 роках навчався в студії при Вологодському драматичному театрі. Закінчив студію при Московському театрі Ленінського комсомолу (1950). З 1950 — актор Московського театру Ленінського комсомолу. З 1960 — актор театру імені О. С. Пушкіна. З 1965 — актор академічного театру імені Мосради. У сезоні 1986–1987 рр. переходив до Малого театру. Леонід Марков мав унікальний голос і манеру говорити. Напевно, тому його часто запрошували працювати на радіо.

Близько ста записів, що охоплюють великий часовий період з 1954 по 1990, літературних творів, радіовистав з його участю зберігаються в колекції радіофонду: «У зимовому лісі» С. Богомазова, у ролі Вовка; «У гімназії» М. Гаріна-Михайловського, у ролі Батька; «Білі троянди, рожеві слони» У. Гібсона, у ролі Генрі Пулескі; «Доля» П. Проскуріна, у ролі Макашина; «Інспектор Тихонов» Аркадія і Георгія Вайнерів, у ролі Шарапова; «Корольов і Гагарін» В. Губарева, у ролі Корольова; «Перше кохання» І. Буніна, у ролі Батька та інші вистави. Актор читав літературні твори О. Пушкіна, М. Лермонтова, Ф. Достоєвського, І. Абашидзе, В. Астаф'єва, Б. Васильєва, Р. Рождественського.