透明反光的物体现在已由机器人掌握研究人员教机器人从彩色图像中推断形状

但是，卡内基梅隆大学的机器人专家报告说，他们开发了一种新技术，成功地教机器人拾取这些麻烦的物体，从而取得了成功。该技术不需要花哨的传感器，详尽的训练或人工指导，而主要依靠彩色相机。研究人员将在今年夏天的机器人与自动化国际会议虚拟会议上介绍这种新系统。

CMU机器人学院的助理教授David Held表示，深度相机可以将红外光照射到物体上以确定物体的形状，可以很好地识别不透明的物体。但是红外光会直接穿过透明物体并从反射表面散射。因此，深度相机无法计算出准确的形状，从而导致透明和反射物体的形状大体上是平坦的或有孔洞的。

但是彩色摄像机可以看到透明和反射的对象以及不透明的对象。因此，CMU科学家开发了一种彩色相机系统，可以识别基于颜色的形状。标准相机无法像深度相机那样测量形状，但是研究人员仍然能够训练新系统来模仿深度系统并隐式推断形状以抓取物体。他们使用不透明物体的深度相机图像与这些相同物体的彩色图像配对。

经过培训后，彩色摄像头系统将应用于透明和有光泽的物体。基于这些图像，再加上深度相机可以提供的任何微不足道的信息，系统就可以高度成功地抓住这些具有挑战性的物体。

霍尔德承认：“有时我们确实会怀念，但在很大程度上，它做得很好，比以前任何用于抓取透明或反射物体的系统都要好得多。”

博士学位的托马斯·翁（Thomas Weng）说，该系统无法像不透明物体一样有效地拾取透明或反射物体。机器人技术的学生。但这远比仅深度相机系统成功得多。而且用于训练系统的多模式传递学习非常有效，以至于彩色系统在拾取不透明物体方面被证明与深度相机系统几乎一样好。

他补充说：“我们的系统不仅可以拾取透明和反射性的物体，还可以将这些物体抓得一团糟。”

机器人自动抓取透明物体的其他尝试都依赖于基于详尽反复尝试的抓握的训练系统（大约80万次尝试）或昂贵的人工标记物体。

CMU系统使用商用RGB-D相机，该相机能够同时显示彩色图像（RGB）和深度图像（D）。系统可以使用单个传感器对可回收物或其他对象分类进行分类-有些不透明，有些透明，有些反射。