PALM E

? PALM-E: Ein multimodales KI-Modell

Dies ist die Open-Source-Implementierung des SOTA-Multimodalitäts-Grundmodells „PALM-E: An Embodied Multimodal Language Model“ von Google. PALM-E ist ein einzelnes großes verkörpertes multimodales Modell, das eine Vielzahl verkörperter Argumentationsaufgaben bewältigen kann Eine Vielzahl von Beobachtungsmodalitäten, mehrere Ausführungsformen und darüber hinaus weisen einen positiven Transfer auf: Das Modell profitiert von vielfältigem gemeinsamem Training in den Bereichen Sprache, Vision und visuelle Sprache im Internetmaßstab.

PAPIERLINK: PaLM-E: Ein verkörpertes multimodales Sprachmodell

Notiz

• Dies ist nur die Modellarchitektur, keine vorab trainierten Gewichte, kein Tokenizer
• Um tatsächlich eine Inferenz durchzuführen, müssten Sie -> Tokenizer für Text und Bilder einrichten -> trainieren -> Inferenz
• Wenn Sie an multimodalen Modellen forschen und dieses Modell trainieren und als Open Source veröffentlichen möchten, treten Sie dem Agora-Labor bei, indem Sie auf das Banner klicken!

Anerkennung

• Alle Schöpfer in Agora, schließen Sie sich Agora an, der Gemeinschaft der KI-Ingenieure, die mit ihren Kreationen die Welt verändern.
• LucidRains dafür, dass er mich dazu inspiriert hat, mich der Open-Source-KI zu widmen

Schnellstart

Installation?

pip install palme

Nutzung?

 import torch
from palme . model import PalmE

#usage
img = torch . randn ( 1 , 3 , 256 , 256 )
caption = torch . randint ( 0 , 20000 , ( 1 , 1024 ))

model = PalmE ()
output = model ( img , caption )
print ( output . shape ) # (1, 1024, 20000)

---

Datensatzstrategie

Hier ist eine Übersichtstabelle der wichtigsten Datensätze, die im Papier erwähnt werden:

Datensatz	Aufgaben	Größe	Link
TAMP	Robotermanipulationsplanung, VQA	96.000 Szenen	Benutzerdefinierter Datensatz
Sprachtabelle	Robotermanipulationsplanung	Benutzerdefinierter Datensatz	Link
Mobile Manipulation	Roboternavigation und Manipulationsplanung, VQA	2912 Sequenzen	Basierend auf dem SayCan-Datensatz
WebLI	Bild-Text-Abruf	66 Millionen Bildunterschriftenpaare	Link
VQAv2	Visuelle Beantwortung von Fragen	1,1 Millionen Fragen zu COCO-Bildern	Link
OK-VQA	Visuelle Beantwortung von Fragen, die externes Wissen erfordern	14.031 Fragen zu COCO-Bildern	Link
COCO	Bildunterschrift	330.000 Bilder mit Bildunterschriften	Link
Wikipedia	Textkorpus	N / A	Link

Die wichtigsten Robotik-Datensätze wurden speziell für diese Arbeit gesammelt, während die größeren Vision-Language-Datensätze (WebLI, VQAv2, OK-VQA, COCO) Standard-Benchmarks in diesem Bereich sind. Die Datensätze reichen von Zehntausenden Beispielen für die Robotik-Domänen bis hin zu Zehnmillionen für die Vision-Sprachdaten im Internet-Maßstab.

---

Mitmachen || Teil des PALM-E-Abenteuers sein?

Ihre Brillanz ist gefragt! Machen Sie mit und lassen Sie uns gemeinsam PALM-E noch beeindruckender machen:

1. Holen Sie sich Ihr Exemplar : Forken Sie das PALM-E-Repo.
2. Machen Sie es lokal : Klonen Sie Ihren Fork.
3. Bereiten Sie Ihre Werkzeuge vor : Installieren Sie das Notwendige.
4. Entdecken und innovieren : Tauchen Sie ein in den Code.
5. Kreieren Sie Ihre Magie : Verzweigen und programmieren Sie.
6. Show & Tell : Pushen Sie Ihre Änderungen und erstellen Sie eine Pull-Anfrage.

? Behebt, ? Verbesserungen, Dokumente oder Ideen – alle sind willkommen! Lassen Sie uns Hand in Hand die Zukunft der KI gestalten.

---

Zitat

@article{driess2023palme,
  title={PALM-E: An Embodied Multimodal Language Model},
  author={Driess, Danny and Xia, Fei and Sajjadi, Mehdi S. M. and Lynch, Corey and Chowdhery, Aakanksha and Ichter, Brian and Wahid, Ayzaan and Tompson, Jonathan and Vuong, Quan and Yu, Tianhe and Huang, Wenlong and Chebotar, Yevgen and Sermanet, Pierre and Duckworth, Daniel and Levine, Sergey and Vanhoucke, Vincent and Hausman, Karol and Toussaint, Marc and Greff, Klaus and Zeng, Andy and Mordatch, Igor and Florence, Pete},
  journal={arXiv preprint arXiv:2303.03378},
  year={2023},
  url={https://doi.org/10.48550/arXiv.2303.03378}
}

---

Roadmap

• DRINGEND: Debuggen Sie den Tokenizer und stellen Sie sicher, dass multimodale Eingaben funktionieren.
• Erstellen Sie eine Datensatzstrategie
• Laden Sie die Schulungsdokumentation hoch
• Bringen Sie das Training mit Multimodalität zum Laufen

---