1978年，河南大学恢复研究生教育，为了加强对研究生工作的管理，河南大学在教务处设置了研究生科，负责研究生的招生与管理工作。随着研究生招生专业的增多和规模的不断扩大，1982年，研究生科调整至科研处；1985年，研究生处成立，设立了办公室、招生科和学位培养科；1986年河南大学自筹经费建设了研究生楼，采取了教学、生活集中管理的模式。
为了加强研究生的思想政治工作，1998年5月，河南大学党委决定在研究生处成立党总支，集中管理全校研究生的思想政治工作。党总支下设5个支部，包括1个教工支部，1个博士生支部，3个硕士生支部。从各院系分散管理到研究生处统一管理，这是河南大学研究生思想政治工作管理体制的一项重大改革。河南大学的研究生思想政治工作进一步得到加强，为提高研究生的思想政治素质发挥了重要作用。
2005年7月，经河南省人民政府批准，河南大学开始试办研究生院，设立了综合管理办公室、学科建设办公室、研究生招生办公室、培养与学位办公室、研究生教育与管理办公室等5个科室；同年成立了校党委研究生工作部，负责全校研究生的思想政治教育工作。研究生院的成立使学位与研究生教育的管理体制实现了重大转变，过去的集中管理模式开始转变为学校——学院(部、室、中心)二级管理、以院为主的管理模式，明确了研究生教育与管理工作中的职责和权力，赋予了研究生培养单位以更大的管理自主权。研究生院对全校学科规划与建设、招生、培养与管理、学位评定与授予等工作进行宏观管理，把学科建设、研究生招生与培养、研究生思想教育与管理、学位申请审核等方面的具体工作下放到全校各研究生培养单位。规模较大的研究生培养单位设立研究生与科研办公室，设置研究生辅导员、教务员岗位，具体组织本单位研究生的教学、思想政治教育与管理工作。河南大学还成立了硕士专业学位教育中心，分别挂靠在相关学院进行管理，具体负责各种专业学位研究生的培养和管理工作。
2010年2月，根据工作需要，经校党委常委会议研究，决定成立“211工程”与省部共建办公室，挂靠研究生院。
2013年5月，河南大学调整部分机构设置。调整后的研究生院（党委研究生工作部）设立：学科建设办公室、招生办公室、培养办公室、学位办公室、教育管理办公室（以上机构为正处级）以及综合办公室（副处级）；同时，撤销了“211工程”与省部共建办公室。其中，河南大学建设办公室下设两个科室：学科建设管理科、省部共建与质量评估科；研究生招生工作办公室下设一个科室：招生管理科；培养办公室下设两个科室：学术学位培养科、专业学位培养科；学位办公室下设一个科室：学位管理科；教育管理办公室下设两个科室：奖助贷管理科、教育管理科；综合办公室下设一个科室：行政管理科。
目前，河南大学已经成为一所拥有哲、经济、法、教育、文、历史、理、工、农、医、管理、艺术等12个学科门类的综合性大学。设有12个博士学位授权一级学科，42个硕士学位授权一级学科，20种硕士专业学位授权类别；哲学与公共管理学院、经济学院、环境与规划学院、法学院、文学院、教育科学学院、体育学院、外语学院、新闻与传播学院、艺术学院、历史文化学院、土木建筑学院、数学与统计学院、计算机与信息工程学院、物理与电子学院、化学化工学院、生命科学学院、医学院、药学院、商学院、天然药物与免疫工程重点实验室、特种功能材料重点实验室、纳米材料工程研究中心、马克思主义学院、黄河文明与可持续发展研究中心、淮河临床学院、护理学院、软件学院、东京临床学院、国际汉学院、植物逆境生物学重点实验室、黄河文明传承与现代文明建设河南省协同创新中心、纳米功能材料及其应用河南省协同创新中心、新型城镇化与中原经济区建设河南省协同创新中心、作物逆境生物学河南省协同创新中心、河南大学人民医院等36个研究生培养单位。全日制在校研究生规模为7000余人，其中博士生300余人。
在河南大学党委、行政的正确领导下，研究生院认真贯彻落实国家有关学位与研究生教育的各项方针政策，遵循高等教育发展规律，形成了“务实、求真、奋发、进取”的工作作风。研究生院以国家开展研究生教育综合改革为契机，围绕建设高水平大学的战略目标，坚持走内涵式发展道路，把立德树人作为研究生教育的根本任务，不断将河南大学学位与研究生教育事业推向前进。