哈尔滨工程大学研究生教育的历史可以追溯到哈军工时期。1955年3月，哈军工党委做出了培养研究生的决定，当年招收3名海军工程系研究生，开创了哈尔滨工程大学研究生教育历史的新纪元。
1966年，哈尔滨工程大学停止招收研究生。1978年哈尔滨工程大学被确定为全国重点大学，同年恢复研究生招生，并在舰艇结构力学等学科首批招收8名硕士研究生，成为文革后第一批开展研究生教育的大学之一。1981年，哈尔滨工程大学被国务院批准为首批博士、硕士学位授权单位，船舶流体力学、水声工程2个学科获得首批博士学位授予权。1997年，哈尔滨工程大学开始招收全国第一批工程硕士研究生。当年，哈尔滨工程大学研究生总数达1759人，研究生导师257人。2002年，教育部批准哈尔滨工程大学设立研究生院，成为全国56所设有研究生院的高校之一，哈尔滨工程大学进入国家研究生培养主力军行列。2007年获准建立研究生院。2009年，哈尔滨工程大学通过工信部“研究生教育优秀工程”专家组现场评估验收并获优秀评价。目前，研究生院下设院办、招生办、培养办、学位办、学术办5个科室。副校长吴林志兼任研究生院院长。
目前，哈尔滨工程大学有国家级重点学科2个，博士学位授予权一级学科12个，一级学科硕士点29个；国家重点学科一级1个、二级1个，国防特色学科11个，黑龙江省重点学科群1个。在学科门类和招生类型上，哈尔滨工程大学可在经济学、法学、教育学、文学、理学、工学、管理学、艺术学等8个门类招收硕士研究生，在工学、法学、管理学等3个学科门类招收博士研究生，并可招收工程硕士、工商管理硕士（含EMBA）、公共管理硕士、金融硕士、翻译硕士、社会工作等6种专业学位硕士研究生，形成了支撑哈尔滨工程大学高层次创新人才培养的学位授权体系。
截至2016年12月，哈尔滨工程大学各类在校研究生总数为8123人，其中博士生1775人，硕士生5812人，留学研究生300人。
如今，哈尔滨工程大学的博士生导师从首批批准的2人已经发展到今天的477人，形成了一支以两院院士、长江学者等国内外知名专家为引领，全国优秀教师，教育部跨世纪优秀人才等学科带头人为中坚的研究生导师队伍。高水平的导师团队带动了重点实验室和研究生实践基地的建设。目前哈尔滨工程大学有国家级重点实验室2个，教育部重点实验室及工程研究中心5个，国防重点学科实验室2个，省重点实验室及工程研究中心5个，省发改委工程实验室3个。哈尔滨工程大学与中船重工703研究所、中国电子科技集团第49研究所等单位联合建立了6个省级研究生培养创新示范基地，与国内众多大中型企业建立了产学研联合培养研究基地，为研究生开展社会实践实习搭建了良好的创新能力培养平台。我校与中国船舶重工集团公司第703研究所联合培养研究生实践基地获评“全国示范性工程专业学位研究生联合培养基地”。作为行业特色型高校，2011年，哈尔滨工程大学入选首批“全国工程硕士研究生教育创新院校”，成为全国50所创新院校之一，同时船舶与海洋工程、控制工程、核能与核技术3个工程领域入选“全国工程硕士研究生教育特色工程领域”。
哈尔滨工程大学成为国家留学基金委“建设高水平大学公派研究生项目签约高校”，比利时布鲁塞尔自由大学联合培养博士生项目、俄罗斯远东联邦大学联合培养研究生项目、船舶与海洋工程人才培养项目入选“国家创新型人才国际合作培养项目”。《随机过程》《声学测量》《核反应堆工程》《现代设计方法》入选教育部“来华留学英语授课品牌课程”。2门课程入选全国工程专业学位教指委研究生教育在线课程重大建设项目。
近年来，哈尔滨工程大学坚持“三海一核”特色办学方略，全面推进“创新推动，打造品牌”的人才培养战略，研究生教育取得了明显进步和发展，办学规模不断扩大，为国家和社会培养了多门类高层次专门人才。从2003年至今，哈尔滨工程大学共培养硕士、博士以及各类专业学位硕士3万余名，研究生毕业生就业率连续多年保持在95%以上，每年海军、船舶、核工业系统等几百家用人单位专程到我校招聘毕业生，使我校毕业生在激烈的就业竞争中具备了特色的优势和竞争力。
哈尔滨工程大学研究生教育始终坚持以“提高质量”为核心，全面落实哈尔滨工程大学综合改革，以“十三五”规划为指导，不断深化研究生培养机制改革，全面提高研究生培养质量。
自研究生院成立的10余年来，哈尔滨工程大学步入了研究生学位教育速度、规模到质量大幅提升的跨越期。全校对“研究生教育对哈尔滨工程大学创建高水平研究型大学具有重要的先导性、全局性和战略性地位，是哈尔滨工程大学事业发展最核心、最重要的组成部分之一”达成共识，形成了通力为研究生教育服务的氛围，促进了研究生教育水平不断提升，为哈尔滨工程大学创建特色鲜明的高水平研究型大学注入了强劲的发展动力，我们相信，随着哈尔滨工程大学综合改革的推进，哈尔滨工程大学将会为我国建设海洋强国培养更多可靠顶用的人才。