A Meta Fair Lab lançou recentemente uma tecnologia de percepção tátil multimodal da ponta dos dedos chamada "Sparsh", que deve revolucionar completamente o campo da manipulação do robô. O modelo Sparsh usa aprendizado auto-supervisionado para pré-treinar mais de 460.000 imagens táteis e aprender representações táteis gerais sem rotulagem manual de dados, percebendo a capacidade de percepção tátil do robô que é semelhante aos seres humanos. É compatível com uma variedade de sensores héticos visuais e tem um bom desempenho em várias tarefas, como estimativa de força e detecção de deslizamento, especialmente quando os dados são limitados, seu desempenho excede em muito o dos modelos tradicionais.
O modelo Sparsh adota aprendizado auto-supervisionado, usando mais de 460.000 imagens táteis para pré-treinamento, e aprende representações táteis gerais sem rotulagem manual de dados.
O modelo é capaz de suportar uma variedade de tipos de sensores héticos visuais, incluindo Digit, Gelsight2017 e Gelsight Mini, e melhora significativamente o desempenho do robô em tarefas de percepção tátil, como estimativa de força, detecção de deslizamento, estimativa de pose, previsão de estabilidade de agarrar e identificação de tecidos, etc. Os pesquisadores também construíram uma plataforma de benchmarking padronizada chamada Tacbench para avaliar o desempenho de diferentes sensores e modelos hápticos em várias tarefas.
Os resultados dos testes mostram que o modelo Sparsh tem um bom desempenho nas seis tarefas no Tacbench, especialmente quando o volume de dados é limitado e seu desempenho está muito além dos modelos tradicionais específicos de tarefas e específicos do sensor. Por exemplo, nas tarefas de estimativa de força e detecção deslizante, o modelo Sparsh pode obter resultados satisfatórios, mesmo que apenas 1% dos dados de anotação sejam usados. Isso significa que os Sparsh podem ajudar os robôs a entender melhor as propriedades físicas dos objetos e a realizar uma manipulação mais refinada.
A liberação do modelo Sparsh marca um grande avanço no campo da percepção háptica da IA. No futuro, com o acúmulo de mais dados e a otimização adicional de modelos, a Sparsh deve mudar completamente a maneira como os robôs interagem com o mundo físico e promovem a aplicação da robótica em uma ampla gama de campos.
Endereço em papel:
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/464969941_1107633400780143_7479102347328147009_n.pdf?_nc_cat=103&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=y8Ui1HEw3BQQ7kNvgFe-ePu&_nc_zt=14&_nc_ht=scontent-sjc3-1. xx & _nc_gid = aeafsuzziasvwpfmqseozqu & oh = 00_ayamqxgq0atcysdxzwb0zt8bgskogymj13c9f3ytvtkmsg & oe = 672Deee4
O surgimento da tecnologia Sparsh indica que a tecnologia de percepção háptica robótica atingiu um novo marco. Seu potencial na manipulação refinado e na interação humano-computador é enorme, e suas perspectivas futuras de aplicativos valem ansiosamente.