实验室概况
北京大学计算机学院情感与认知智能机器人实验室(Lab for Affective and Cognitive Intelligent Robotics,ACIR Lab),成立于2017年,致力于赋予机器人真正的智能、认知与情感能力,主任为王韬研究员。我们相信,在未来的生活中,情感与认知智能机器人将不可或缺,在家庭、安全、教育、商业、健康、文旅等领域中都将发挥重要的作用。
实验室提出的情感与认知模型及算法,具有表情识别、注意分析、生理指标检测、信息理解、性格分析等能力;实验室研发的情感机器人,能够完成情感交互、琴棋书画、迎宾导览等任务。
实验室发表学术论文90余篇,多篇论文获最佳论文奖,获发明专利授权20余项,完成国家、省部级以及横向项目数十项,开设“智能机器人系统导论”等课程。
情感与认知智能模型、算法和机器人系统研发初见成效,获得业界较大关注,代表北京大学在各类汇报、会议、展览中进行展示,已被中央广播电视台(CCTV)等多家媒体报道。
情感与认知智能模型/算法/系统已在产业界产生一定影响,与业界头部企业共建联合实验室,模型及算法已被产业头部机构应用(部署在多种机器人上)。
实验室秉持“科学、科幻、科普”的文化理念,通过“科学”的方法,做“科幻”的事情,并通过“科普”的桥梁向公众传播科学,激发公众对未来的向往与感知。在2025年底,实验室代表计算机学院,联合北京大学出版社、计算中心、新校区管委办,牵头申报成功北京人工智能与情感机器人科普基地。
在北京大学计算机学院王韬研究员带领下,情感与认知智能机器人实验室(ACIR Lab)搭建精细表情识别、三维视线状态分析、无接触生理体征检测三位一体视觉感知底座,在非接触式人类内在状态感知方向形成具备全球竞争力的完整技术体系。
整套感知方案仅依托机器人标配普通摄像头实现全维度信息采集,无需受试者佩戴任何传感设备,可稳定适配日常交互中头部大范围运动、复杂环境光照波动等真实场景扰动。生理心跳检测模块依托实验室ICAA2018国际会议最佳论文成果,实现无接触心率检测误差≤1次/分钟;后续基于实验室ICIC2025不确定性感知算法迭代优化,进一步提升复杂场景下生理信号检测鲁棒性。
三维视线追踪方向,实验室基于Swin-Transformer改进自研专用网络,叠加实验室ICAA2019最佳论文沉淀的先验技术,在单目无深度设备条件下,真实场景视线角度识别误差控制在1–4°,达到该约束下全球最优水平(SOTA),可精准定位人类注视目标、反推用户潜在交互意图。
精细表情识别领域,团队先后研发FSNet、CISNet、TAS系列面部动作单元检测模型,相关成果发表于IROS、AAAI、BMVC、ACM-MM等国际顶会;在BP4D、DISFA两大权威微表情数据集上,模型平均F1分数最高达64.7%,有效削弱人种、年龄带来的个体识别偏差。研究同步融合心理学先验知识,量化面部动作单元的持续时长与变化强度,实现识别流程可溯源、预测结果具备可解释性。
基于三类底层视觉感知输出,实验室提出模态动态加权融合框架,并引入强化学习开展交互反馈驱动的模型后训练优化,六类基础情感识别准确率达78%,在通用表情评测数据集上超越同期公开最优SOTA算法。
针对内在人格难以直接标注的行业痛点,实验室提出以外显行为表征推断内在大五人格的端到端弱监督学习框架:通过观测外显行为、聚合特征表征、校正观测偏差与自适应加权学习,精准挖掘人物内在人格特质,解决人格标注稀缺、外显行为观测偏差干扰两大核心难题。系统能够可视化输出大五人格雷达图并配套特质文字解释,在ELEA数据集无标签弱监督条件下识别准确率达82%,为2026年4月该评测场景SOTA;相关成果发表于国际权威期刊《Pattern Recognition》(JCR一区、中科院计算机大类一区)。
实验室全部研发工作面向真实人机交互落地场景推进,从微表情、注意力、生理体征多底层维度完成人类心理状态深度量化解析;依托多年国际顶会、期刊成果沉淀完备的算法体系与知识产权成果,底层视觉感知技术可落地赋能陪护服务机器人、车载人机感知、智慧课堂、线上心理健康筛查等多元场景,形成高门槛、可持续迭代的核心技术壁垒。
长期目标:
► 使机器人能够像人一样理解与表现、真正帮助到人。
► 追赶科幻电影里的机器人,像家人、战友、老师、同事、私人保健/心理医生...
建设使命:
► 建设世界领先水平的智能机器人实验室,创造有实际价值的一流科技成果
► 培养具有创新精神和创新能力的一流人才,鼓励自我价值的实现与持续发展