基干多模态融合的心理感知与计算平台

一、技术简介

基地在国家重点研发计划等项目的支持下，与新加坡国立大学、新加坡管理大学等合作，突破多模态数据融合技术，进而研发了基于多模态融合的心理感知与计算平台，形成了基于多模态融合感知的中长时心理计算与风险预测模型、基于短时认知反馈的人格探测模型、基于交互的心理干预模型，构建了普适心理计算与交互干预技术体系，带动了人工智能与心理学交叉领域的发展。在理论上创新性地提出基于多模态交互的心理量化和引导，为基于多模态情绪引导和心理干预奠定了基础；并提出了面向情绪引导的多模态内容生成框架。在技术上，综合生理和行为等多通道，包括面温、心跳、呼吸、面部表情、语音和肢体动作等多个通道的多模态信息，实现了基于情感交互的多策略个性化心理干预。基于情感状态转移张量网络理论，进行多模态交互与内容对抗生成，实现心理的个性化干预。在心理诊疗、教育和审讯等场景有广泛应用。

二、成果优势/拟解决问题

该成果孵化了国家高新技术企业“合肥中聚源智能科技有限公司”，已获得创谷资本、合肥创投、合肥天使投资基金等机构的战略投资，产品已应用于公安、检察、司法、军队、政府、教育等行业，获2023全国通用人工智能创新应用大赛一等奖。汪萌教授获评2024年科学探索奖、第十七届中国青年科学家奖。成果产生了突出的国际学术影响。获得2023年度中国图象图形学会自然科学奖二等奖；获吴文俊人工智能科学技术进步奖三等奖1项，中国发明协会发明创业成果一等奖1项，教育部高等学校科学研究优秀成果奖科学技术进步一等奖1项等。提出的视觉特征提取和多模态融合方法获得CCFA类会议ACMM2023多模态情感分析挑战赛“复杂个性化情感检测”赛道第一名，提出的基于注意力的多模态特征融合模型获得CCFA类会议ACMMI2023多模态情感分析挑战赛“幽默检测赛道”第一名。所研制装备“非接触动态实时心理测评系统”进入中国科学技术协会《2019年前沿领域科技成果推介手册》。项目成果入选司法部“智慧司法，数字法治”建设工程，并在全国14所监狱、看守所、戒毒所应用并取得良好效果。

三、联系方式

有合作意向的企业请联络北林区工业信息科技局，电话：0455-8106381、0455-8106380。