Родился в Курской губернии, в дворянской семье. После окончания гимназии поступил на физико-математический факультет в МГУ. В 1919 году бросил обучение и записался добровольцем в армию. После службы не вернулся в университет, а поступил в театральный техникум. На сцене с 1920 года. В 1925 году окончил Московский театральный техникум имени А. В. Луначарского и до 1932 года был актёром в различных домах самодеятельности. В 1932—36 годах служил в Театре ВЦСПС, в 1936—1959 годах — в Центральном театре Советской Армии. Хотя в кино Николай Сергеев впервые снялся в 1937 году, дебютировав ролью командира фашистской эскадрильи в фильме «Глубокий рейд», известность ему принесли роли возрастные. Этапной в этом отношении для него стала роль старого рабочего Басманова в картине Иосифа Хейфеца «Большая семья» (1954). В этой картине актёра заметил Михаил Швейцер и дал ему создать совершенно противоположный образ — скупого крестьянина Силантия Ряшкина в «Чужой родне» (1955). С этого момента Николая Сергеева стали приглашать ведущие советские режиссёры, и вскоре он оставил театр ради кинематографа. В 1960 году сыграл в ещё одном известном фильм Швейцера «Мичман Панин», где исполнил роль капитана корабля по имени Николай Васильевич Сергеев.
Могила Н. В. Сергеева на Ваганьковском кладбище в Москве
Указ Президиума Верховного Совета СССР от 15 апреля 1980 года № 1900—Х «О награждении народного артиста РСФСР Сергеева Н. В. орденом Трудового Красного Знамени» // «Ведомости Верховного Совета Союза Советских Социалистических Республик». — № 17 (2039) от 23 апреля 1980 года. — Ст.312.