浙江省北大信息技术高等研究院情感智能机器人实验室与南京大学、西南科技大学合作撰写的学术论文“Deep Reinforcement Learning for Multi-contact Motion Planning of Hexapod Robots”，被2021年的国际人工智能联合会议IJCAI (the 30th International Joint Conference on Artificial Intelligence) 录用。

该文章作者为傅汇乔、唐开强、李鹏、张文祺、王鑫鹏、邓归洲、王韬、陈春林。

文章第一作者傅汇乔为南京大学在读硕士生、北大信研院情感智能机器人实验室实习生，李鹏、张文祺、王韬为北大信研院情感智能机器人实验室成员。

IJCAI是人工智能领域中最主要的学术会议之一，始于1969年，原为单数年召开，自2016年起改为每年召开。受疫情影响，2021年的IJCAI会议将于8月在以蒙特利尔为主题的虚拟现实中举行，在4204篇论文全文提交中，有587篇论文最终被接收，接收率为13.9％。IJCAI一般每年1月截止收稿，同年8月举行会议，通常会附带一系列教程、演示、竞赛和其他活动，是全世界范围人工智能领域学术界和工业界的年度盛会。

本论文提出了一种六足机器人在随机生成不均匀梅花桩上运动的深度强化学习方法，并将其应用于仿真和现实环境中，解决了传统规划算法难以在离散环境下以及连续状态动作空间中求解的难题。

文章将六足机器人的运动表述为具有特定回报函数的离散时间有限马尔可夫过程。利用所设计的深度强化学习算法对运动策略进行规划，其状态输入包含了机器人的自身姿态、目标区域坐标以及外部梅花桩环境信息，针对梅花桩环境的特点，采用图卷积神经网络对环境特征进行提取。同时建立了六足机器人的多接触质心动力学模型，利用轨迹优化方法给出了状态转移的可行性，进而确定回报。最后在不同的梅花桩设置下对输出策略进行了测试，仿真和现实环境中的实验结果均证明了该方法的可行性和有效性。

梅花桩不仅是一种特殊的离散环境，还可以在一定程度上表征任何一种崎岖地形，这种可靠的规划方法具备应用到大多数环境中的潜力。