Meta FAIR团队近期发布了一系列重要科研成果,涵盖触觉感知、机器人灵巧度和人机交互等方面。
Meta Sparsh是Meta开发的首款多功能触觉编码器,能够适配多种触觉传感器,应用于各种任务中。该模型在超过46万个触觉图像的数据集上通过自我监督学习进行训练,使AI能够更好地理解和处理触觉信息。Sparsh在多个基准测试任务中表现出色,平均优于特定任务和传感器的模型95%以上。
Meta Digit 360是一款模拟人类指尖的触觉传感器,拥有超过18种传感功能,能够以人类水平的精度提供详细的触觉数据。Digit 360配备了多种传感模式,能够感知物体表面的机械特性、几何特性和化学特性。通过这些多样化的信号,Digit 360能帮助科学家更详细地了解世界,推动AI研究的发展。
Meta Digit Plexus是一个标准化平台,用于机器人触觉传感器的连接和交互。该平台提供了一种软硬件解决方案,能够将不同类型的触觉传感器集成到同一个机械手上,并通过单根电缆实现无缝的数据收集、控制和分析。Digit Plexus平台将触觉传感器集成到一只机械手上,提升了机器人手的灵巧度和感知能力。
Meta与传感器公司GelSight Inc.和韩国机器人公司Wonik Robotics达成战略合作。GelSight Inc.将负责生产和分销Meta Digit 360,并为研究者提供早期试用机会;Wonik Robotics将利用Digit Plexus技术开发新一代的机器人灵巧手Allegro Hand。这些新技术将在医疗、制造和虚拟现实等领域展现巨大潜力。
Meta FAIR团队还推出了PARTNR基准测试,这是一个评估人机协作中规划和推理能力的标准框架。PARTNR基准测试包含10万个自然语言任务,覆盖60个房屋和5800多个独特对象,旨在评估大型语言和视觉模型在与人类协作时的性能表现。
Meta FAIR团队在触觉感知和机器人技术领域取得了显著进展,这些技术的应用前景广阔。通过与合作伙伴的共同努力,Meta将这些技术推向市场,推动了机器人手在实际应用中的发展和普及。