基于多模态感知的作业人员身心状态智能监测与健康管理技术及应用——哈尔滨工业大学(深圳)信息学部 硕士研究生毛倍倍

2025年11月14日，哈尔滨工业大学(深圳)信息学部 硕士研究生毛倍倍在深圳核博会“AI+核能创新应用场景路演”上发表《基于多模态感知的作业人员身心状态智能监测与健康管理技术及应用》主旨报告。

分享介绍了哈尔滨工业大学深圳团队联合中广核惠州核电有限公司研发的作业人员身心状态智能监测与健康管理方案，目标是面向核安全监管与应急响应场景，提升人员状态感知、预警和管理能力。方案以非接触生理动作监测、多模态心理情感计算、融合评估智能决策和全周期可视化平台为核心，并计划将已在医疗、金融等领域验证的技术加速迁移到核能安全领域。

关键点
1. 项目定位与合作背景（00:17）
项目名为“基于多模态感知的作业人员身心状态智能监测与健康管理技术以及应用”，由哈尔滨工业大学深圳团队联合中广核惠州核电有限公司共同研发，面向核安全监管与应急响应智能化场景，聚焦安全管理痛点。

2. 能源数字化与核能人员管理挑战（00:51）
在双碳战略和人工智能快速发展的背景下，能源行业需要提升系统化、数字化水平。核能行业人员状态管理仍面临监测手段单一、预警机制滞后、管理方式粗放、智能平台缺位等问题，亟需实时、非接触、全面感知人员状态的系统。

3. 总体技术路线（02:06）
团队应用计算机视觉等先进技术，建设智能化平台、科学量化评估体系、准确预警机制和智能决策体系，形成协同闭环管理，使安全管理从经验驱动升级为数据驱动。

4. 非接触式生理动作监测（02:21）
第一项关键技术整合多路高清监控视频与可穿戴智能设备，同步采集心率等生理信号，并通过多视角信息融合的三维姿态估计算法量化动作规范性和稳定度，形成综合状态评估指标。

5. 多模态心理情感计算（02:52）
第二项技术面向核电对话场景，通过构建多模态特征提取、对齐和混合空间情感计算单元，整合视频与音频数据，并利用交叉注意力机制识别员工心理状态，使判断更客观、全面。

6. 身心状态融合评估与智能决策（03:23）
第三项技术将生理、动作、心理数据与排班任务等文本信息融合，结合可解释情感计算智能体和多智能体协同归因机制，生成具体可实践的智能决策，而不只是简单风险提示。

7. 全周期可视化管理平台（03:57）
第四项技术打造覆盖数据采集、档案建立、算法决策、预警干预的全流程在线平台，可实时展示人员健康状态和风险分布，并联动工作票系统，实现任务调度和管理闭环。

8. 既有技术验证与迁移方向（04:23）
团队介绍了体外诊查感知系统、脊柱侧弯智能筛查系统、脊柱侧弯X光影像智能诊断系统和情感自主感知数字人平台等成果，已在医疗和金融场景落地；下一步将加速相关技术向核能安全领域迁移应用。

9. 方案竞争优势（06:30）
方案优势包括模式创新、技术创新、机制创新和应用创新：通过无感实时监测减少人工主观依赖，针对核电工业场景优化算法，构建监测、评估、干预、跟踪、上岗的全周期健康管理闭环，并将人工管理升级为智能闭环管理体系。

10. 战略、社会与经济价值（07:49）
方案响应核电强国和数字中国建设，探索人机环管智能协同的核电安全管控新范式；社会效益体现在提前消除事故隐患并体现员工关怀，经济效益体现在以数据驱动替代经验驱动，提升安全管理效率。

时间线
00:04 - 演讲者开场致意，介绍团队身份、项目名称、合作单位，以及将从背景、技术方案、成效、竞争优势和价值推广等方面展开分享。
00:51 - 阐述政策与行业背景，说明人工智能与能源行业融合趋势，并指出核能人员状态管理在监测、预警、闭环管理和平台支撑方面的不足。
02:06 - 进入技术方案部分，说明团队围绕智能化平台、量化评估、预警机制、智能决策和闭环管理构建总体方案。
02:21 - 依次介绍四项核心技术，包括生理动作监测、心理情感计算、身心状态融合决策和全周期可视化管理平台。
04:23 - 展示团队相关技术在医疗和金融领域的落地成果，并说明未来将推动这些技术向核能安全场景迁移。
06:30 - 总结方案在模式、技术、机制和应用上的竞争优势，强调面向核电场景的适配能力和管理闭环。
07:49 - 从国家战略、社会效益和经济效益角度阐述推广价值，最后表达希望形成标准并推广到更多领域。

AI 延伸阅读(下文由AI生成，其内容可能存在偏差，请注意甄别)：

多模态感知赋能核电作业人员身心状态智能监测与健康管理

2025年11月14日，在深圳核博会“AI+核能创新应用场景路演”上，哈尔滨工业大学（深圳）信息学部硕士研究生毛倍倍作了题为《基于多模态感知的作业人员身心状态智能监测与健康管理技术及应用》的主旨报告。该项目由哈尔滨工业大学（深圳）团队联合中广核惠州核电有限公司共同研发，面向核安全监管与应急响应智能化场景，聚焦核能行业人员安全管理中的现实痛点，旨在通过智能感知、量化评估、精准预警和闭环管理，为核电安全生产构建更加可靠的智能防线。

在“双碳”战略持续推进、人工智能与能源行业深度融合的大背景下，能源系统的数字化、智能化升级已成为明确的发展方向。对于核能行业而言，安全管理具有极高要求，而作业人员的身体状态、心理状态和行为规范性直接关系到生产运行安全。当前，人员状态管理仍存在监测手段相对单一、预警机制滞后、管理方式粗放和智能平台缺位等问题，很多场景仍依赖人工观察和年度体检，难以实现全流程、多维度、实时化、可量化的状态感知，也难以及时发现疲劳、压力、异常行为等潜在风险。因此，行业亟需建设能够实时、非接触、全面感知人员状态的智能化系统，推动安全管理从经验驱动转向数据驱动。

项目的总体技术思路是融合计算机视觉、多模态感知、情感计算和智能决策等技术，构建面向核电作业人员的身心状态评估、风险预警与健康管理体系。在生理与动作监测方面，系统整合多路高清监控视频和可穿戴智能传感设备，同步采集心率等生理信号，并通过非接触、非侵入式方式降低对作业人员正常工作的干扰。同时，项目利用多视角信息融合的三维姿态估计算法，对人员动作规范性和稳定度进行量化分析，从而形成综合性的人员状态评估指标，使原本依赖经验判断的状态识别转变为可计算、可追踪的数据评估。

针对核电行业中的沟通、问询、调度和应急对话等场景，项目进一步构建了面向核电对话场景的多模态心理情感计算模型。该模型基于多模态对话数据识别人员心理状态，通过视频、音频等信息的特征提取、对齐与融合，结合交叉注意力机制提升识别精度。与单纯依靠人工观察相比，这种方式能够更加客观、全面地捕捉员工在压力、紧张、疲劳或情绪波动等方面的变化，为安全管理提供更早期、更细粒度的心理风险识别能力。

在身心状态融合评估与智能决策方面，项目将生理数据、动作数据、心理数据以及排班任务等文本信息进行综合分析，形成多模态数据融合评估模型，并引入可解释情感计算智能体和多智能体协同归因机制。系统不仅能够提示人员是否存在风险，还能够进一步分析风险可能来源，并自动生成具体、可执行的管理建议，使人员状态管理从“发现异常”提升到“解释原因、提出干预、跟踪效果”的阶段。这意味着核电安全管理不再停留于简单报警，而是能够形成可落地的干预方案，例如任务调整、岗位替换、休息安排、心理疏导或复核检查等。

为了支撑上述能力在实际生产中的应用，项目还规划建设全周期可视化管理平台，覆盖数据采集、健康档案建立、算法决策、风险预警和干预反馈等完整流程。平台可实时展示人员健康状态与风险分布，并与工作票系统自动联动，实现人员状态与任务调度之间的闭环管理。通过这一平台，安全管理人员能够更直观地掌握现场人员状态，及时开展协同调度和风险处置，推动核电安全管理全过程在线化、可视化和协同化。

报告中还介绍了团队在相关技术方向上的已有验证成果。在人体健康体外诊查感知系统方面，团队攻克了非接触、非侵入式采集难题，将舌象、脉象等中医体征进行量化，使单次诊查时间由约15分钟缩短至3至5分钟，并已在广东省中医院实际应用。在脊柱侧弯智能筛查方面，团队研发了动静特征结合的多维度筛查技术，通过线上线下结合方式覆盖全市约180万名中小学生，筛查准确率达到92%以上。在脊柱侧弯X光影像智能诊断方面，团队利用三维重建技术将影像评估时间由15至20分钟缩短至3分钟以内，医生审核负荷降低50%以上，并已在深圳市第二人民医院部署应用。此外，团队还开发了情感自主感知数字人平台，将多模态情感计算、知识图谱和数字人个性化生成技术应用于信贷风险和客服场景，实现月均审核案件约3600件，AI面审年放款额度约8亿元，节省坐席人力成本约200万元。这些在医疗和金融领域的落地成果，为相关技术向核能安全生产场景迁移提供了验证基础。

项目的竞争优势体现在模式、技术、机制和应用四个方面。模式上，项目通过非接触式生理监测和多模态心理计算，实现对作业人员的无感、实时、综合监测，减少对人工观察和主观报告的依赖。技术上，项目并非简单套用通用算法，而是面向核电工业复杂场景进行适配优化，以提升感知精度、评估准确性和系统鲁棒性。机制上，项目构建了监测、评估、干预、跟踪和上岗的全周期数字化健康管理闭环，将人员健康管理深度嵌入安全生产流程，推动管理方式从事后补救转向事前预警。应用上，项目致力于打造监管、监测、评估和管理一体化的智能平台，推动传统人工管理向智能闭环管理体系升级。

从项目价值来看，该技术体系既服务于核电强国建设和数字中国战略，也有助于构建人、机、环、管智能协同的核电安全管控新范式。在社会效益方面，系统能够提升核电安全运行管理水平，提前发现并降低事故隐患，同时体现对员工身心健康的持续关注和人文关怀。在经济效益方面，数据驱动的安全管理方式有助于提高管理效率和资源调度能力，在保障安全的同时创造管理价值和经济价值。未来，项目将推动相关技术形成标准化方案，并进一步推广至更多高安全要求行业和应用领域，持续深化人工智能与核能行业融合，从源头夯实核安全的人力基础。