3D机器人视觉在仓储物流和工业自动化领域的应用

  • 时间:
  • 浏览:1
  • 来源:5分赛车网投平台-5分时时彩投注平台_大发6合娱乐平台

随着深度1学习和机器学习的发展,机器人随后 走出实验室,越来越多 地地应用于各行各业,其中,仓储物流和工业化领域后会一种生活 适合机器人作业的场景环境。

人眼的一大能力是除了看到物体之外,都要得到物体的深度1信息,从而都要从更高维度实现定位识别。在工业自动化和仓储物流等对自动化有较高需求的产业领域,3D 视觉、人工智能和工业机器人的结合而成的“3D机器人视觉”正逐渐成为一种生活生活趋势,3D 机器人视觉让工业机器人等自动化装置能以更高精度、很快效率执行更简化的工作,是产业自动化升级乃至将自动化技术推向更多产业领域必不可少的一环。

然而,你了解各种形状的机器人身旁所用到的具体 AI 技术吗?3D 机器人又是什么样的概念?是是不是所有的机器人后会必要用到深度1学习和机器学习技术也能达到最好的效果?带着什么问题报告 ,让亲们从杭州灵西机器人首席科学家,北京大学信息科学技术学院博士王灿在 2019 AI 开发者大会(AI ProCon 2019)上的演讲《3D机器人视觉在仓储物流和工业自动化领域的应用》中找寻答案。

2019 AI开发者大会是由中国 IT 社区 CSDN 主办的 AI 技术与产业年度盛会,2019 年 9 月 6-7 日,近百位中美顶尖 AI 专家、知名企业代表以及千余名 AI 开发者齐聚北京,进行技术解读和产业论证。

在机器视觉领域,运用最广泛的是测距原理,并衍生出一种生活 一种生活 3D 传感器、双目多目、线形状光、相移形状光、散斑形状光,还有散斑编码原理、多光谱共焦原理、光度测量、干度测量妙招。

飞行时间原理

飞行时间原理是基于另一一二个光线的发射器调制出的激光,通过物品一种生活生活的反射算出与物体之间的距离,但它另一一二个缺点,即随后 它是通过光线效率传播的时间差来测量深度1的,一种生活 一种生活 在深度1差距 1 毫米时,光线差距都要算出来,但对于另一一二个对高频电路设计有很高要求的电子器件来说,你一种生活 技术门槛限制了它的精度,不到做到亚厘米级精度。这两年,超声 ToF 克服了光学 ToF 的一种生活 一种生活 缺点,也能达到更高的精度,为社 让目前还未广泛应用于消费级或工业级产品上,还所处产品研发阶段。

三角测量原理

三角测量原理是指一大类3D传感器,最早是基于双目视觉。对视觉有了解的同学应该都知道,它的缺点是都要要图像也能获得纹理信息,比如用亲们所熟知的脚点,来计算信息形状点的双匹配,并恢复深度1。你一种生活 妙招的优势是都要用于室外环境和宽广的视野。

为了克服双目的成像缺点,在消费级和工业级的 3D 相机应用中,亲们非常喜欢主动形状光的技术,主动投射形状光,无论是线形状光还是条纹光,随后 是用投射散斑,这至少 为相机获得的图像人为地增加一种生活 一种生活 纹理形状,进行匹配。这里有个最简单的线扫形状光的应用,通过投射的主动光源,就都要把桌子上的物体深度1恢复出来,基于最简单的激光器投射是它最基本的原理。

散斑编码原理

对于散斑编码原理,直接投射出的形状光就代表它的深度1,1501 年微软最早推出第一代第一代kinect时所用的一种生活 一种生活 形状光,在不同深度1上投射出不同的模式,通过获得光的模式都要直接计算深度1。该原理广泛应用于 3D 手机端摄像身旁。

光谱共焦测量原理

这是在 3D 成像兴起随后 ,在光学测量领域盛行的单点 3D 测量原理——光谱共焦测量原理,随后 亲们随后 在工业级项目中客户要求非常高时,比如要达到 1 微米的量级,随后 提到的形状光就不能自己做到,做工业测量适合确定你一种生活 原理。为社 让,它的劣势在于不到作为单点测量的工具,当为社 让会线阵测量,但比较困难,国内还越来越看到做线阵测量有点性成熟图片 图片 是什么是什么 期期期期的产品。打出白光后通过分色器,把不同光点射拉大,这至少 投射在物体棘层的距离所代表光的波段会非常大,物体移动 1 厘米,光的波段就会移动几纳米。越来越,最后光谱解析器会解析到聚焦于物体棘层光的波动,通过波长的数量推测物体的深度1,越来越 就都要获得很高精度。

3D视觉算法

传统妙招VS学习妙招

讲完了 3D 视觉成像硬件方面的原理,下面来看一下 3D 视觉成像的算法。3D 视觉成像算法起源于七八十年代的光测度算法,让一束光均匀地打在物体棘层,反推出它的深度1,这是最早的一种生活生活算法。

其次,用到最多的是几何算法,主一种生活 一种生活 通过视差,同样另一一二个三维点,在不同的相机中对应的位置不同,通过对应关系的差距来恢复它的深度1。

现在,随着深度1学习的兴起,有越来越多 的数据集在做这方面的工作,尝试基于先验统计,从单幅图像中恢复三维形状。你一种生活 想法的原理基于越来越 另一一二个事实,即人类用一只眼睛也能感觉到距离的远近,这是随后 亲们的大脑拥有先天的形状和后天认知的输入,随后 获得可一种生活 一种生活 先验知识。当然,学界后会人提出反对意见,我在马毅老师的微博上引用了他对该妙招的评价:“涉及到很简化的网络,试图做深度1恢复,比如单张图,为社 让真正去细抠算法性能还不如传统基于最近邻理论的原则算法。我认为他的说法是正确的,随后 深度1学习并越来越利用几何关系,亲们试图用另一一二个模糊的网络去学习精确的东西,往往不能自己达到满意的效果。

说到你一种生活 点,我大致调研了一下最近两年的代表性工作。上图是最古老的光测度测量妙招,获得了CVPR 2019的最佳论文,它的原理是通过另一一二个不可见物体,或在半透的状况下,利用模糊的光照信息,试图恢复物体棘层的深度1信息。当然,这篇论文提出了一种生活 较好的理论,着实与最早的光测度算法一样对光照和材料的材质后会很高的要求,但你一种生活 妙招也为该领域提出了另一一二个新的思路和方向。

还一帮人对性能进行了量化分析,这是 3D 点源测试图,每个点后会另一一二个 XYZ 坐标,测试不同网络模型下的性能,结果网络性能的表现不一,每个网络在不同图片上的表现一种生活 一种生活 同。最后,作者得出结论:一张测试图片和原始训练数据集中图片非常相近时,就也能搜索训练的图片,得到较高的 3D 图得分,它一种生活 一种生活 进行了搜索和分类,恰好找到了一张与它例如 的图片而已。

几何妙招VS学习妙招

还一种生活生活 工作非常具有借鉴意义,几何妙招涉及到一种生活 一种生活 自由化的问题报告 ,要怎样把现在的学习妙招引入到自由化问题报告 中,如更好地处里优化问题报告 ,随后 是几何妙招与学习妙招融合的另一一二个趋势。为社 让,我认为在工业领域,随后 亲们更多地是追求可靠性和可控性。一种生活 一种生活 ,目前学习妙招还不到替代几何妙招。

机器人视觉

接下来讲一下机器人视觉。机器人视觉的本质在于,机器人视觉是输入信息,包括数字信息和图片,为社 让输出要作用于物理世界,反映出来的是在物理世界的另一一二个动作,这是机器人视觉吸引人的地方。我随后 在腾讯做视频分析和 AR 广告植入,随后 在中科院做过安防监控、视频分析等,为社 让一种生活 一种生活 局限在数字世界中信息的输入输出上。为社 让机器人视觉与之不同,机器人视觉是先通过传感器获得数字世界信息,为社 让作用于物理世界,这是它的魅力所在。

3D 机器人视觉的必要性,亲们不仅做机器人视觉,还做 3D 机器人视觉,机器人视觉要在真内控 理世界中工作,都要获得三维信息也能执行动作。2D 机器人视觉会做假设,比如将物体插进另一一二个平面上,但最终发出的指令还是 3D 的,随后 要把机器人视觉推广到更简化、更广泛的应用中,必然都要 3D 机器人视觉。

上图是亲们随后 在实验室中做的一种生活 demo。你一种生活 双臂的 hero 机器人拥有十十几块 自由度,再换成物体的三维运动,规划不同任务下的摆放、拼接、抓取、识别的问题报告 ,首先亲们要面对的后会视觉问题报告 ,一种生活 一种生活 机器人规划问题报告 ,亲们要把物理世界的三维运动通过机器人处里十十几块 轴的高维空间规划问题报告 ,视觉一种生活 一种生活 起到了给它发送目标指令的作用,比如抓取位置、抓取姿态、摆放位置、摆放妙招等,机器人执行的是非常简化的高维空间规划。

上图是亲们公司买车人做的一种生活 3D 相机,第另一一二个是双目散斑相机,用的是线形状光,线形状光的优势是精度较高,但执行效率比双目和面形状光稍差,但优势在于精度高。根据精度、视野等各种要求,不同原理的 3D 相机应用于不同的场景。

为社 在么在亲们要买车人做相机?这是随后 现在市场上着实一种生活生活 一种生活 人在做 3D 相机产品,为社 让随后 需求不性成熟图片 图片 是什么是什么 期期期期,一种生活 一种生活 相机是非标定制的,满足不了客户的不同需求,例如 的产品随后 在精度上相差十几块 量级,一种生活 一种生活 ,亲们都要买车人做 3D 相机设备,打造灵活的非标定制需求。

仓储物流领域

这是亲们在仓储领域主要应用的架构。首先,亲们要另一一二个对接各类机器人本体的控制系统,控制系统主要负责又快又准又安全地进行机器人规划和检测,亲们基本上都要对接四亲们族(日本的安川电机 YASKAWA、发那科 FANUC、德国的库卡 KUKA、瑞士的 ABB),包括国产的比较有名的机器人,把它们集成到亲们的控制器中。亲们的视觉系统用于处里仓储物流领域的各种应用,包括各类消费品软包装食品、整托产品、金属制品。

这是亲们参选“Top150+”评选案例的京东家电仓,它都要节省劳动力,提高效率,减轻工人作业负担。在你一种生活 场景中,机器人都要拆分不例如 型的垛,箱子尺寸从 1150mm 到 1150mm 不等,任何形状的包装后会随后 再次出显,且越来越鲜艳的色彩,这对机器学习提出了挑战。你一种生活 问题报告 在实际应用非常常见,比如视觉检测结果。

在电商领域机器人都要参与到什么场景中呢?网购随后 ,会一帮人根据订单去拣货区取货,再分配到缓存区,自动化叉车把缓存区的东西卸到投递区,亲们的机器人都要在投递区作业,节省人力和成本。

这是另一一二个比家电仓更简化的水饮仓,包装五颜六色,摆放状况不一。它的难点一是于算法,二是在于光学设计,要怎样获取非常简化的各种物体的成像信息,这对硬件、软件和算法都提出了很高的要求。亲们公司在国内首次将仓储物流 3D 机器人落地。

物流领域对成本非常敏感,基本上要求一年就要取回 成本。

工业领域

在工业领域,这是亲们为一家美国铸件公司提供的方案。工厂里铸造件降温时是黑色的,无法分辨形状,不到依靠 3D 视觉处里你一种生活 问题报告 。工件有堆叠,后会姿态,一种生活 一种生活 都要有输出也能抓取,你一种生活 项目最后也成功落地了。为社 让工业领域亲们做的比较少,随后 工业领域非标定制需求越来越多 ,为社 让不成规模,你一种生活 点与电商仓储领域不同。

这是在一种生活 领域的应用,比如京东供包,各种国际邮邮寄快件在传输带上通过,它的难点在于视觉反应效率,这套系统不仅要测出位置,都要处里分割的问题报告 ,不到把另一一二个国际邮邮寄快件当成另一一二个国际邮邮寄快件,一种生活 一种生活 能把另一一二个国际邮邮寄快件当成另一一二个国际邮邮寄快件。它都要测量体积,国际邮邮寄快件经过时,3D 相机都要通过物体棘层点的分布推算出体积,越来越 商品入库时既得到了面单信息,又得到了体积信息。更全面的产品信息还应该换成称重,一次性得到所有信息,为社 让由机器人抓取。目前,机器人主要集中在大的分拣中心和物流中心。