Meta Fair Lab недавно выпустила прорывную мультимодальную технологию тактильного восприятия кончика Модель Sparsh использует самоотверженное обучение для предварительного обучения более 460 000 тактильных изображений и изучать общие тактильные представления без ручной маркировки данных, реализуя способность робота к тактильному восприятию, которая похожа на людей. Он совместим с различными визуальными датчиками так хорошо работает в нескольких задачах, таких как оценка силы и обнаружение скольжения, особенно когда данные ограничены, его производительность намного превышает результаты традиционных моделей.
Модель Sparsh принимает самоотверженное обучение, используя более 460 000 тактильных изображений для предварительного обучения, и изучает общие тактильные представления без ручной маркировки данных.
Модель способна поддерживать различные типы визуальных тактичных датчиков, включая Digit, Gelsight2017 и Gelsight Mini, и значительно повышает эффективность робота по задачам тактильного восприятия, таких как оценка силы, обнаружение скольжения, оценка позы, прогноз стабильности захвата и идентификация ткани,,, и т. д. Исследователи также построили стандартизированную платформу сравнительного анализа под названием Tacbench для оценки эффективности различных тактичных датчиков и моделей по различным задачам.
Результаты теста показывают, что Sparsh Model хорошо работает во всех шести задачах в Tacbench, особенно когда объем данных ограничен, а ее производительность далеко за пределами традиционных специфических для задач и сенсорных моделей. Например, в задачах оценки силы и обнаружения скольжения модель Sparsh может достичь удовлетворительных результатов, даже если используется только 1% данных аннотации. Это означает, что Sparsh может помочь роботам лучше понять физические свойства объектов и выполнять более утонченные манипуляции.
Выпуск модели Sparsh знаменует собой серьезный прорыв в области тактичного восприятия ИИ. В будущем, с учетом накопления большего количества данных и дальнейшей оптимизации моделей, Sparsh, как ожидается, полностью изменит способ взаимодействия роботов с физическим миром и способствовать применению робототехники в более широком диапазоне полей.
Бумажный адрес:
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/464969941_1107633400780143_7479102347328147009_N.PDF?_NC_CAT=103 57328147009_N.PDF?_NC_CAT=10347 _nc_ohc = y8ui1hew3bq7knvgfe-epu & _nc_zt = 14 & _nc_ht = scontent-sjc3-1. XX & _NC_GID = AEAFSUZZIASVWPFMQSEOZQU & OH = 00_AYAMQXGQ0ATCYSDXZB0ZT8BGSKOGYMJ13C9F3YTVTKMSG & OE = 672DEEE4
Появление технологии Sparsh указывает на то, что технология роботизированного тактичного восприятия достигла новой вехи. Его потенциал в утонченных манипуляциях и взаимодействии человека с компьютером огромный, и его будущие перспективы применения с нетерпением ждут.