Meta FAIR 实验室近日发布了名为“Sparsh”的突破性多模态指尖触觉感知技术，这项技术有望彻底革新机器人操控领域。 Sparsh 模型利用自监督学习，通过超过46万张触觉图像进行预训练，无需人工标注数据，即可学习通用的触觉表征，实现了机器人近似人类的触觉感知能力。其兼容多种视觉触觉传感器，并在力估计、滑动检测等多个任务中表现出色，尤其在数据有限的情况下，其性能远超传统模型。
Sparsh 模型采用自监督学习的方式，利用超过46万张触觉图像进行预训练，无需人工标注数据，即可学习通用的触觉表征。
该模型能够支持多种类型的视觉触觉传感器，包括DIGIT、GelSight2017和GelSight Mini，并显着提升了机器人在触觉感知任务上的性能，如力估计、滑动检测、姿态估计、抓取稳定性预测和织物识别等。 研究人员还构建了一个名为TacBench 的标准化基准测试平台，用于评估不同触觉传感器和模型在各种任务上的表现。
测试结果表明，Sparsh 模型在TacBench 的六项任务中均表现出色，尤其是在数据量有限的情况下，其性能远超传统的特定任务和特定传感器模型。 例如，在力估计和滑动检测任务中，即使只使用1% 的标注数据，Sparsh 模型也能取得令人满意的结果。 这意味着Sparsh 可以帮助机器人更好地理解物体的物理特性，并进行更精细的操控。
Sparsh 模型的发布标志着AI 触觉感知领域取得了重大突破。 未来，随着更多数据的积累和模型的进一步优化，Sparsh 有望彻底改变机器人与物理世界交互的方式，推动机器人技术在更广泛的领域得到应用。
论文地址：
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/464969941_1107633400780143_7479102347328147009_n.pdf?_nc_cat=103&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=y8Ui1HEw3BQQ7kNvgFe-ePu&_nc_zt=14&_nc_ht=scontent-sjc3-1. xx&_nc_gid=AeaFsuZziasVwPfMQsEoZqu&oh=00_AYAMqxGq0ATCySDxZWB0ZT8BgSkogYmj13c9f3ytVtkmSg&oe=672DEEE4
Sparsh技术的出现，预示着机器人触觉感知技术迈向新的里程碑。其在精细化操控和人机交互方面的潜力巨大，未来应用前景值得期待。