PALM E

? PALM-E: um modelo de IA multimodal

Esta é a implementação de código aberto do modelo de base multimodal SOTA "PALM-E: An Empowered Multimodal Language Model" do Google. PALM-E é um único grande modelo multimodal incorporado, que pode abordar uma variedade de tarefas de raciocínio incorporadas, desde uma variedade de modalidades de observação, em múltiplas modalidades e, além disso, exibe transferência positiva: o modelo se beneficia de diversos treinamentos conjuntos em domínios de linguagem, visão e linguagem visual em escala de Internet.

LINK DE PAPEL: PaLM-E: um modelo de linguagem multimodal incorporado

Observação

• Esta é apenas a arquitetura do modelo, sem pesos pré-treinados, sem tokenizador
• Para realmente conduzir a inferência, você precisaria -> configurar o tokenizer para texto e imagens -> treinar -> inferência
• Se você está pesquisando sobre modelos multimodais e gostaria de treinar esse modelo e liberá-lo em código aberto entre no agora lab clicando no banner!

Apreciação

• Todos os criadores do Agora, juntem-se ao Agora, a comunidade de engenheiros de IA que mudam o mundo com suas criações.
• LucidRains por me inspirar a me dedicar à IA de código aberto

Início rápido

Instalação?

pip install palme

Uso?

 import torch
from palme . model import PalmE

#usage
img = torch . randn ( 1 , 3 , 256 , 256 )
caption = torch . randint ( 0 , 20000 , ( 1 , 1024 ))

model = PalmE ()
output = model ( img , caption )
print ( output . shape ) # (1, 1024, 20000)

---

Estratégia de conjunto de dados

Aqui está uma tabela de resumo dos principais conjuntos de dados mencionados no artigo:

Conjunto de dados	Tarefas	Tamanho	Link
TAMPA	Planejamento de manipulação robótica, VQA	96.000 cenas	Conjunto de dados personalizado
Tabela de idiomas	Planejamento de manipulação robótica	Conjunto de dados personalizado	Link
Manipulação Móvel	Navegação robótica e planejamento de manipulação, VQA	2912 sequências	Baseado no conjunto de dados SayCan
WebLI	Recuperação de imagem-texto	66 milhões de pares de legenda de imagem	Link
VQAv2	Resposta visual a perguntas	1,1 milhão de perguntas sobre imagens COCO	Link
OK-VQA	Resposta visual a perguntas que requerem conhecimento externo	14.031 perguntas sobre imagens COCO	Link
COCO	Legendagem de imagens	330 mil imagens com legendas	Link
Wikipédia	Corpus de texto	N / D	Link

Os principais conjuntos de dados de robótica foram coletados especificamente para este trabalho, enquanto os conjuntos de dados maiores de linguagem de visão (WebLI, VQAv2, OK-VQA, COCO) são referências padrão nesse campo. Os conjuntos de dados variam de dezenas de milhares de exemplos para os domínios da robótica a dezenas de milhões para dados de linguagem de visão em escala da Internet.

---

Contribua || Faça parte da aventura PALM-E?

Seu brilho é necessário! Junte-se a nós e, juntos, vamos tornar o PALM-E ainda mais inspirador:

1. Obtenha sua cópia : bifurque o repositório PALM-E.
2. Torne-o local : clone seu fork.
3. Prepare suas ferramentas : Instale o necessário.
4. Descubra e inove : mergulhe no código.
5. Crie sua magia : ramifique e codifique.
6. Mostrar e contar : envie suas alterações e crie uma solicitação pull.

? Correções, ? melhorias, documentos ou ideias – todos são bem-vindos! Vamos moldar o futuro da IA, de mãos dadas.

---

Citação

@article{driess2023palme,
  title={PALM-E: An Embodied Multimodal Language Model},
  author={Driess, Danny and Xia, Fei and Sajjadi, Mehdi S. M. and Lynch, Corey and Chowdhery, Aakanksha and Ichter, Brian and Wahid, Ayzaan and Tompson, Jonathan and Vuong, Quan and Yu, Tianhe and Huang, Wenlong and Chebotar, Yevgen and Sermanet, Pierre and Duckworth, Daniel and Levine, Sergey and Vanhoucke, Vincent and Hausman, Karol and Toussaint, Marc and Greff, Klaus and Zeng, Andy and Mordatch, Igor and Florence, Pete},
  journal={arXiv preprint arXiv:2303.03378},
  year={2023},
  url={https://doi.org/10.48550/arXiv.2303.03378}
}

---

Roteiro

• URGENTE: Depure o Tokenizer, certifique-se de que as entradas multimodais funcionem.
• Criar estratégia de conjunto de dados
• Carregar documentação de treinamento
• Faça o treinamento funcionar com multimodal

---