当前位置: 软件志 >资讯 > 新的机器人遥感系统通过摄像头翻译动作

新的机器人遥感系统通过摄像头翻译动作

更新时间:2022-03-21 11:34:04    浏览次数:751+次

可控机器人为我们带来了一个充满希望的未来,但今天的现有模型对于未经训练的用户来说,控制起来可能很棘手。它们通常涉及复杂的电子装置来操纵,但这种情况将随着卡内基梅隆大学的一组研究人员启动的系统–机器人的心灵感应而改变。

除了远程控制机器人的能力,这个机器人心灵感应系统的另一个令人兴奋的消息是它能够通过RGB摄像头翻译用户的动作。机器人的手和手臂将通过简单地演示一个特定的动作来复制该动作。这使得它与以前的发明不同,以前的发明通常利用复杂的系统来控制机器人,如遥控器和其他设备。

新的机器人遥感系统通过摄像头翻译动作图片

“以前在这个领域的工作要么依靠手套、运动标记或校准的多摄像头设置,”该团队的研究人员之一Deepak Pathak告诉TechXplore。”相反,我们的系统使用一个未经校准的相机工作。由于不需要校准,用户可以站在任何地方,仍然可以成功地远程操作机器人。”

据帕塔克说,甚至使机器人系统变得引人注目的是,它完全是用一系列显示个人执行手臂动作的YouTube视频来训练的。帕塔克说,它可以分析简单的二维图像,这对任何人–甚至是没有实践经验的人–来说都是一项极其直接的技术。他说,该团队必须专注于计算机视觉和三维人体姿势的估计。

“巨大的被动视频数据的多样性有助于它在未经训练的用户、任务和物体之间发挥作用,”帕塔克表示。”我们的系统提供了一种低成本和自然的方式,通过演示来教导机器人,而不是在运动学上握住机器人或戴上手套或运动捕捉服……希望我们最近的工作只是未来许多方向中的一个,除了机器人视觉之外,互联网视频也作为机器人控制的丰富监督来源。”

有了所有这些东西,研究人员相信这项技术在日常情况下是有用的,特别是对那些可能对人类的存在有危险的任务。

“机器人心灵感应和类似的技术将使机器人教学在更大的范围内进行,包括在家庭中,它们将被期望执行日常任务。” 帕塔克说:”只使用一个未经校准的摄像头,我们的系统在理论上可以从世界任何地方进行控制,因此它使机器人教学对任何人来说都更加方便。我们现在正在使用我们的机器人遥感系统收集大规模数据,以教导机器人在现实世界中自主行动和适应。”