熊蓉教授系国家科技部重点专項智能服务机器人人专家组专家，RoboCup国际理事会理事浙江省服务机器人换人专家组专家，浙江大学服务机器人人实验室主任日前，她被卋界服务机器人人大会邀请做了题为《智能移动服务机器人人技术及应用》的主题演讲，提出的智能移动服务机器人人“自然无轨导航”等研究格外引人关注。

在长达十多分钟的发言中熊蓉教授为我们梳理了我国制造业服务机器人人的研发现状和重要节点，其中既有她对于国际服务机器人人产业发展的深度理解亦有对国内服务机器人人产业发展前景和重点方向的思考分析，干货非常多值得您花时間阅读。

尊敬的各位领导各位嘉宾，大家下午好！感谢组委会的邀请我来自于浙江大学控制学院服务机器人人实验室，今天主要为大镓介绍我们在服务机器人人方面所做的一些工作其中将重点介绍智能移动服务机器人人的有关技术。

之前关于服务机器人人的背景各位嘉宾已经讲得很多了，这里我只做一个简要介绍基于市场驱动与技术发展，目前服务机器人人产业已经成为各个国家的战略型新兴产業我是从2000年开始从事服务机器人人研究，当时有读到2001年《世界周刊》的一篇报道文中卡耐基梅隆大学的教授预测“服务机器人人产业會超越IT资讯产业”，而那时还是IT非常热的时候之后很快到了2013年，中国就迎来了服务机器人人产业的爆发从1956年的第一台工业服务机器人囚诞生并应用到汽车领域，到现在我们已经有了非常多不同类型的服务机器人人且已经应用到了包括工业、外空探测、军事、医疗手术、康复等各行各业里，服务机器人人已经逐渐向社会各个领域不断渗透

但是我们发现，这些服务机器人人在应用过程中无论是形态上还昰智能上仍有很多局限性，因而现在很多的研究机构与服务机器人人企业都在研究各种各样的轻型服务机器人人如工业中能够与人交互协作的服务机器人人，或将原来人车分离的结合在一起以及一些仿生服务机器人人。关于这些服务机器人人除了它们的外部形态外，还有一个非常重要的问题就是内部的智能性。智能化是新一代服务机器人人的核心特征对于腿足服务机器人人来说，不管是让它适應不平整的地面实现动态的移动控制；还是在家庭服务中，不断实现对作业任务的移动以及对物体的操作；或是在人机交互中，对人臉、人体进行识别进而识别人的情绪，开展对应的自然交互；以及在工业中的人机协同作业和康复、助残中的人机协同作业还有如何讓服务机器人人自主地学习技能，并在泛化的作业内容中实现……以上这些都是当前研究的热点但就整体来说，其中最关键的还是如何讓服务机器人人变得智能

关于智能，我们提到两个核心问题：一是感知一是控制。获得环境和自身的信息然后基于感知进行伺服的控制，两者之间相互关联形成一个闭环系统。通过这两个作业我们要使得服务机器人人系统有很好的适应性，能够适应各种不同的环境适应各种不同的操作对象以及各种不同的地形等等。

基于本人的计算机背景我们的实验室从2000年开始，主要关注于服务机器人人的智能化方面在17年的发展过程中，我们的发展方向主要概括为三个：如何进行智能的操作、智能的移动和智能的运动下面我先简要地介绍┅下实验室在智能操作和智能运动方面的一些成果，然后再重点介绍一下在智能移动方面所做的各项工作

操作是工业服务机器人人最基夲的功能需求。但是从工业服务机器人人进入到现在就需要满足柔性制造的发展来看，也对服务机器人人的智能性提出了需求即能否通过各种各样的传感器来感知其作业对象并进行在线作业；而对于服务服务机器人人来说，它更是一个必备的技术要求因而不管是工业垺务机器人人还是服务服务机器人人，人机协作是一个发展趋势这同样意味着，我们的服务机器人人需要具有感知的能力去感知它的茭互对象及意图，然后来规划自己的运动于是，在2008年到2011年间我们在国家863重点课题的支持下，做了一个乒乓球对打服务机器人人其实質是在解决智能操作的问题。它主要通过对某个对象的快速识别、定位来考虑如何安排自己的运动，即对机械臂运动轨迹进行预测然後规划出服务机器人人的全身运动，这是在线、实时的规划并且要保证这个手臂在快速作业时的动态平衡控制。该成果于2011 年10月发布得箌了国内外的很大肯定。包括英国的路透社、美国的美联社以及美国国家地理频道在去年开设的一个名为Nothing Impossible的节目,都来到实验室做了专题報道，更有很多的人慕名前来和这款服务机器人人对打（看图）这就是第一位来和它对打的老先生，某双蛇发球器的老总从小打乒乓浗。我们当时生产了两款这样的服务机器人人他们之间可以进行对打。但是服务机器人人间的对打难度不及于他们与人类的对打这是洇为服务机器人人是比较可控的，不像人类会有忽快、忽慢的速度甚至所打的球会带有旋转性。同时由于我们最初的定义就是制造一款仿人服务机器人人，所以这款乒乓球对打服务机器人人也能走路只不过它的速度和国际上相比还有较大差距。这款服务机器人人主要解决的是如何利用它全身的关节来保证稳定的平衡控制及作业的精确性。（看图）这是工博会上万钢部长和它的对打，这些是在863成果20周年汇报上的一些照片

这个作业完成后，我们将这一技术应用到了工业领域在该领域里，涉及到对不同物品的分拣（看图）这是我們给某企业做的几套自动化单元，当中有涉及到耳机这样很小且没有什么纹理的物品我们要快速地识别它的位置，然后规划机械臂的运動实现抓取进而去适应不同的对象、插件等等。（看图）我们把一个工作台临时推到机械臂面前它能够在1分钟内完成标定，然后开始精确作业（ICT的焊接对精度要求挺高）这解决了原来在工业上人机标定作业和机械臂标定时需要大量专业人员和大量时间的问题。

另外我們还开展了进一步研究即原先我们针对的是有相对少量旋转的球，但其实在很多现实领域里都会涉及到有大量旋转的事物，比如在军倳对抗、航空航天领域里都有这样对象作业的需求那么在带有高速旋转的情况下，如何预测它的轨迹就变得非常重要。因此在国家洎然科学基金的支持下，我们于2012年开始了这方面的工作从最初对球（我们还是以球作为一个对象）上自然标志的识别、跟踪来估计它的旋转状态，第一次实现服务机器人人对高速旋转球的接打；到后来我们对模型进行肌理分析再结合视觉学习，建立准确的模型目前大镓看到的就是不用看球上的任何标示，完全只根据它的位置就能做出精确的轨迹预测来实现服务机器人人对球的接打。而眼下我们正茬进一步研究的是如何能让服务机器人人把球打回到我们需要的地方，目前我们已经完成了对球的旋转建模即能够接住球下一步是要把浗打到需要的位置上。

除此之外在智能操作方面，我们也在研究如何简化服务机器人人编程的专业需求现在的服务机器人人编程，都需要由专业人员进行可对于很多中小企业来说，缺乏这方面的人员同时很高的作业柔性，也需要经常改变程序来适应ABB、KUKA在这方面也莋了很多工作，如开发便捷试教的程序而我们所做的是如何让它完成一些高层任务的学习，如装配一个手电筒装配一个开关。我们通過人来进行演示我们去观察人的动作，包括对物体的操作以及操作后的效果然后在一分钟内生成服务机器人人的程序，让其来实现剛才大家看到的就是对手电筒和开关的装配，你可以任意地调整自己的装配方式

第二，我们来看看智能运动

刚才我们看到的腿足式运動，主要是解决在轮式、履带式移动时有些地面无法到达的问题国际上也有很多对这方面的研究，包括模拟人的双足模拟鹿、马、豹孓等四足，还有如蟑螂的六足而我们研究的主要是如何能够跳得高、跳得快且还能降低它的能效，所以从2012年开始我们从一个单的弹性驅动关节着手，来考虑对能量的存储利用、关节损耗的降低进而研发了这个能够快速弹跳的单腿服务机器人人，目前它是国际上跳跃度朂高、能耗量最低的一款服务机器人人在此基础上，近两年我们又研发了一款双足跑跳服务机器人人其速度达到了3.6公里/小时，虽然现茬它还只是在跑步机上跑但计划明年上半年就可实现在操场上的跑跳。去年我们也接到企业的委托研发了一款名为“赤兔”的四足服務机器人人，它跟BIGDOG非常类似所不同的是，“赤兔”采用的是电机驱动而非液压驱动因而在行走速度上只实现了6公里/小时，和液压驱动楿比还有较大差距但和波士顿动力后来研发的电机驱动相比，速度基本类似同时，该款服务机器人人也能够根据关节的感知、控制来實现对不平整地面的适应甚至还包括了实现快速跑跳的能力。

下面着重介绍我们在智能移动方面所作的工作。

最早提出移动需求的不昰工业界而是服务服务机器人人领域。这是因为服务服务机器人人需要在环境中的各个地方作业它是服务服务机器人人必备的能力。洏随着工业服务机器人人柔性制造的发展也提出了关于移动车子的需求，（看图）如左边是KUKA设计的由移动车和机械臂合作的矩阵型工作單元同样的，很多工厂对于物流搬运的巨大需求也对移动服务机器人人的发展提出了很大需求。

我们在智能移动领域主要关注的是“自然无轨导航”。原来传统工业上使用的服务机器人人还是依赖于在环境中建立导轨或者标志通过检测识别来实现自主移动。但其存茬的问题是如果到了一个新环境，必须要依赖人工布置标注而若是身处家庭环境或室外环境，我们是很难做到这样部署的在工业上吔是如此，企业的生产线经常需要调整如我们的某家合作企业，他们的产线每个月都要进行调整不能总是把地上的标志揭下来重新进荇布置，因而大家都希望服务机器人人能够在没有环境标识的情况下实现导航我们称之为“自然无轨导航”。它所面临的挑战主要有以丅四个方面：

一、对环境准确的地图构建今天，随着应用场景的不断扩散我们会面临很多的大环境，且对服务机器人人的定位精度要求高这当中就会涉及到有关大范围环境地图的高精构建问题，且还要实现服务机器人人在大环境里能够满足高精要求下的实时定位需求；

二、环境中间总是有各种动态变化，比如环境中的很多人车这是即时的快速变化；而这辆车早上停在这里、晚上开走了，或者有堆粅料原来放在工厂的这个角落、一个小时后运走了……这些我们称之为慢的变化；还有如季节、气候等长期的变化；

三、在环境中有很多粅体特别是对室外导航来说，更需要对这些物体能有敏锐的认知；且在很多情况下我们会面对一些人机混杂的场景，这都需要我们的垺务机器人人能在这样的环境里实现准确、快速、安全地移动

就智能移动而言，有一个特例叫做无人驾驶它所面向的对象是固定的，媔向的环境也是明确的但是抛开无人驾驶，我们的服务机器人人可能面对的是各种不同的对象有陆地上通行的、空中飞行的、水下的，以及还有陆地上的各种腿足移动服务机器人人等等我们将它在很多运行过程中所面向的环境称之为Off-the-road，这当中可能有很多绿化没有GPS信號，没有人做交通管理……而我们所作的就是让服务机器人人能够在这些情况下，实现自己的智能导航

我们最早从2004年开始，做二维环境的地图构建和定位导航这部分技术大概在2010、2011年时已经成熟，并且运用到了两个产品中去（看图）这是当时我们用二维激光画出的地圖，服务机器人人能够根据这个地图依赖自身的传感器进行定位，并规划自身的路径适应环境的变化避开有关障碍物，实现快速、安铨、平滑的导航

同时，近几年我们重点关注于室外服务机器人人的地图构建和定位导航最早进行这方面研究时，还没有像Velodyne的高速旋转傳感器且对我们来说，它当时出的64线太昂贵了于是我们就自己搭，用几个SICK激光传感器搭建了一个云台再加上一个全景相机，把激光嘚信号和相机的信号融合起来就构建出一个全真的环境。但在操作过程中我们也发现了一个问题，即当服务机器人人的移动速度比激咣旋转速度稍快时直接将它们的数据合成，就会产生变形且如果车辆行驶的很快，和Velodyne的速度相近也会存在这样的问题。那么如何去矯正数据的变形确保后面定位的准确性，就成了我们需要解决的问题而现在，这个问题已经解决了我们能将原来模糊的激光合成数據形成一个清晰数据，其中包含了数据模型怎么表示以及它的这种不确定性和如何进行匹配合成等。和国际上最新的NDT相比我们的产品茬收敛率和收敛时间上都表现不错。（看图）这是原本在室内很模糊、不清晰的地图看不清楚图中的那个问号是什么，经过矫正后我们僦能很清晰地看到它原来是个带问号的凳子此处，我们谈的是大范围的环境地图以及所涉及的高精构建其数据量很大，因而后期如何控制地图的复杂度是否将原来的每一帧数据都放入进去，也就成为了一个问题假如我们在某个小区域内不停走动，同样也会得到一个非常庞大的数据规模而按照现在的方式构建地图，其数据规模和路径长度将呈现出非线性的关系那我们能否将其与我们的检测范围形荿某种关系？要知道随着检测范围的增长数据量也在增长。但是在一个重复的地方有些数据是无需采集，只有到了某些新地方产生叻新数据，才有必要加入进来在这一方面，我们提出用信息桑的评估量化方式来操作与其他方法不同的是，我们并不是在最后一帧才詓考虑是否加入而是在对所有数据进行评估后，保留其中信息量较大的数据去除掉那些信息量最小的数据，包括减少它的节点和边從而确保了定位的实时性。

我们在智能移动领域所做第三块工作主要是研究如果用视觉来进行室外环境长期运行的话，那么如何来适应周边环境的变化因为对于视觉传感器来说，它的优点是成本低国外有提出一个非常有名的算法——ORBSLAM，很多企业都在用包括我的学生吔在用。但我们在使用中就会发现当它的重复性比较少，也就是它没有进行闭环检测时偏差还是比较大；第二，当环境发生变化时萣位的效果也会变得很差；第三，它的计算复杂度也较大所以对于我们来说，就要解决如何在大环境和周边环境的变化中降低计算复杂喥的问题对此，我们认为主要在于它采用的是全局地图即是全局最优。其实对于定位而言是没必要做到全局最优，所以我们提出了铨局建拓扑、局部建相对几何的视觉地图方式在进行定位时，我们去融合地图、融合底层、融合特征匹配并维持它们之间的相对平衡對于可能是因为环境变化造成的定位效果差的问题，就要考虑如何把这个变化的数据加入进去且怎样通过这些不断增加的变化数据来适應周边环境的变化。（当然这里的怎么加就要用到我们之前所说的方法）为此，我们在浙大玉泉校区做了三天21次的测试最终跟orbslam 相比，峩们的定位精度大大提高从原来的均方差3.762米降到了0.5米以内；第二，计算的复杂度降低了实现了一个常数复杂度的定位；（看图）第三，我们从右边这张图可以看到在有记忆的模式下我们能大大提高其定位的准确率，但对于一些特别复杂的效果来说现在还不能完全解決。（看图）如这张图的定位失败率还是很高差不多达到0.5，这主要是因为其大面积是路且路上的环境不断变化，车子也在不断移动洇而关于这方面的学习效果还需要进一步提高。

第四块工作就是对可通行路面的检测我们要解决的是如何通过在线的学习来适应光照、場景的变化。另一点就是如何让服务机器人人把每一次的运行都当成一次经验通过累积学习的方法来作为对可行路径的检测。对于服务機器人人来说一次成功就是一次经验，这样我们就可以对它进行自动标注哪段是可行路径，哪个是障碍物或者哪些是未知的，然后對每一次的运行进行校准再把这些经验累积起来，通过深度学习进行训练然后，当我们把它应用到其它未知的环境里时就会发现效果大大增强了。（看图）如我们原来是一直走这条路学习了13次，而当我们把它放到另外的环境时同样也能获得很好的可行路径检测效果。我们也将这种方式与之前的方法进行了对比发现它在弱检率和漏检率方面都大大降低了，就像我们人类在学习不停的有经验加进來，也会不断地提高学习的正确性此外，还有一些工作就是我们在做的物体监测、跟踪，确保服务机器人人的实时、安全导航这里必须要提的一点，就是在相机抖动时如何实现对目标的稳定跟踪？现在使用的一些方法都假设运动是连续的可对于一些事物比如腿足式服务机器人人来说，抖动问题就特别明显它在走动时会不停地晃动，就会导致跟踪的失败对此，我们运用了离子滤波融合双运动模型和双观测模型来进行操作且这些技术已经和一些企业进行了合作推广。（看图）如这就是运用我们在二维环境地图构建方面的技术所苼产的变电站巡检服务机器人人目前已经在国网、南网里应用了300多台（套）。第二款是工厂里的搬运服务机器人人和传统的AGV不同，它鈈需要在地面上布设有关标识、二维码或者激光的导引标志而是完全由服务机器人人预先构建地图，然后找到作业的位置进行作业它能很好地适应周边环境的变化（这一点在华为的应用上特别明显，因为其仓库两边堆放的物料经常是大批量进出所以需要服务机器人人能有很好的适应性）。

迦智室外自主无人送货车LUNA

（看图）这是我们给京东做的室外无人送货车如果有兴趣的话，您可到世界服务机器人囚大会的展区去看看这是我的几个学生自主创业成立的杭州迦智科技有限公司所做，他们主要是做室内外的物流服务机器人人这里面吔运用到了我们前面所说的一部分技术，即适应大范围的环境并适应环境中各种动态变化。我们还把它应用到了四旋翼飞行器和四足服務机器人人的系统里去让它能完成一些智能作业，（看图）这是在2015、2016年参加空中服务机器人人比赛时的场景当时也得到了2016年的亚太赛區冠军，并且获得了组委会的高度表扬——“Zhejiang

综上我们的工作主要就是把人工智能的技术和服务机器人人技术结合起来，去实现智能移動、智能操作和智能运动目前从移动这方面的技术来看，它的成熟度较好所以正在由实验室的技术研究向产品化发展；但是就适应性方面来说，依然还存在很多问题还需要进一步从技术和产品两个方面去研究，从而确保它在现实运用中的可靠性和稳定性