爆竹除岁，屠苏饮醉

曈日春风进入了千门万户

新学期伴着初春的雪，纷扬已至

而你，我的朋友

是否又立了新的flag？

想参加项目、增添履历吗？

还是想发表论文、保研上岸、出国深造...

更重要的

想实现真正的人工智能科幻梦吗？

亦或是彻底打破现实与科幻的界限

开启新纪元的先驱？

北京大学情感与认知智能机器人实验室招募实习生啦！

一起在新学期热辣滚烫吧！

 

一、实验室支持

01.  自我实现

实验室立足于马斯洛需求层次理论的最高层次，鼓励每位同学勇敢探索自身的科技潜能，超越既有界限的研究前哨，无畏追寻属于自己的科技梦想

 

02. 科研实践

实验室主任王韬老师一线指导，还有高颜值且科研经验丰富的学长学姐带你做科研，我们提供丰富的计算资源。无论是讨论idea、做实验，还是写论文、参与项目，整个流程都能得到充分的指导

 

03. 项目经验

实验室与多家企业及国家级部门合作，目前正处于人才需求期，新加入的成员将有机会深入参与这些项目

 

04. 保研支持

实验室每年都有学术硕士和直博的保研名额，也可以将你推荐到其他实验室保研

 

05. 国际交流

实验室同样鼓励并支持学生在国外开拓眼界或申读学位，也有许多出国交流及参会的机会

 

06. 就业支持

实验室的往届毕业生在英特尔、腾讯、华为等许多知名企业担任骨干人员。实验室提供包括实习机会在内的广泛就业支持和经验积累机会

 

07. 实习补助

实验室会对长期实习的同学发放实习补助，在工作方面突出者，还会获得额外奖励

 

二、科研方向及成果

 

01 精细表情识别技术

 

基于面部图像识别情感，初步提出基于面部解剖学特点的微表情动作时序分析理论。研究内容主要包括：a.面部动作单元检测，即对面部动作单元编码系统(FACS)中定义面部动作单元进行识别、强度估计等；b. 精细化表情识别，即构建面部动作单元与精细化表情之间的映射，构建可解释可扩展的精细化表情识别系统。

相关研究成果已发表至IROS 2021 & RAL、MULTIMEDIA 2021/2022、AAAI 2022/2024等。

 

02 实时无接触生理指标监测技术 

 

结合视觉信号处理和深度学习的方法从视频序列中提取rPPG（远程光电容积脉搏波）等生理指标相关信号，从而实现非接触情况下对用户心率、心率变异性、呼吸频率等生理指标的分析。

研究内容包括：

• anomaly-aware and outlier-aware remote physiological measurement
• multi-task (facial actions, breathing, HR/HRV, etc.) learning for physiological measurements
• development of real-time remote physiological measurement framework

相关研究成果已获得ICAA 2018最佳论文等。

 

 

03 注意焦点分析技术

 

识别用户视线方向，分析视线的动态特征，建立用户注意力状态模型，并以此指导机器人做出相应动作。

研究内容包括：

• Gaze Estimation
• Gaze-Based Intention Inference Method
• HCI and HRI Based on Gaze Estimation

相关成果已获得ICAA 2019最佳论文，及发表至SMC2023等。

 

眼神打字演示：

• 展示了机器人（摄像头）精准识别用户视线方向的能力。
• 在打字过程中，机器人实时检测用户视线，判断用户视线在屏幕上的落点，锁定该落点对应的键盘格；打字者可以通过双眨眼触发，打出视线注视的字母。在打字过程中，屏幕的左上角会显示打字时长。

 

04 大模型理解分析

 

基于大语言模型优化， 构建灵活的层次化架构，设定不同的层次优化目标；承接“北京大学科研GPT设计及未来应用部署”项目......

• 领域适配：开发针对特定科研领域的专门模型，优化术语、概念和研究方法适配，以确保内容理解和生成的准确性。
• 用户交互：根据科研人员需求优化交互界面和使用流程，提升体验，集成语音识别生成、知识图谱可视化和智能推荐系统。
• 持续学习：定期更新科研知识和趋势，保持知识时效性和准确性。

 

 

05 实体（具身）智能机器人

 

实验室研发实体（具身）智能机器人，代表北京大学在各类汇报、会议、展览中进行展示