Народився в місті Озерки, Курська губернія, Російська імперія. Заслужений артист РРФСР (1956). Народний артист РРФСР (1970). На сцені з 1920 року. У 1925 році закінчив Московський театральний технікум імені А.В. Луначарського і до 1932 року був актором у різних будинках самодіяльності. У 1932-1936 роках — актор у Театрі ВЦРПС. У 1936-1941 і 1943-1959 роках — актор у Центральному академічному театрі Радянської Армії. Хоча в кіно Микола Сергеєв уперше знявся в 1937 році, дебютувавши роллю командира фашистської ескадрильї у фільмі «Глибокий рейд», відомість йому принесли вікові ролі. Етапною в цьому відношенні для нього стала роль старого робітника Басманова в картині Йосипа Хейфеца «Велика сім'я» (1954). У цій картині актора помітив Михайло Швейцер і дав йому створити цілком протилежний образ — скупого селянина Силантія Ряшкіна в «Чужій рідні» (1955).

З цього моменту Миколу Сергеєва почали запрошувати провідні радянські режисери, і незабаром він залишив театр заради кіно. Понад п'ятдесят років Микола Васильович прожив у щасливому шлюбі з акторкою Ольгою Василівною Долговою, з якою разом працював у ЦТСА. Коли Сергеєв став активно зніматися і пішов з театру, то вона пішла разом з ним, залишивши професію, і все своє подальше життя віддала турботам про чоловіка. Дітей у подружжя не було, тому, коли в їхньому домі наприкінці 50-х років з'явилася племінниця Світлана, то всю свою любов і турботу вони переключили на неї. Похований на Ваганьковському кладовищі (26 ділянка).