ดาวน์โหลด PALM E - ดาวน์โหลดซอร์สโค้ด PALM E

PALM E

โค้ดแหล่งที่มา AI

0.0.4

ดาวน์โหลด

หลายรูปแบบ

- PALM-E: โมเดล AI หลายรูปแบบ

สถาปัตยกรรมแบบจำลอง

นี่คือการใช้งานแบบโอเพ่นซอร์สของโมเดลพื้นฐานหลายรูปแบบ SOTA "PALM-E: โมเดลภาษาหลายภาษาที่เป็นตัวเป็นตน" จาก Google PALM-E เป็นแบบจำลองหลายรูปแบบที่รวบรวมขนาดใหญ่เพียงตัวเดียว ซึ่งสามารถจัดการกับงานการให้เหตุผลแบบรวมศูนย์ได้หลากหลาย จาก รูปแบบการสังเกตที่หลากหลาย ในหลายรูปลักษณ์ และอื่นๆ แสดงให้เห็นการถ่ายทอดเชิงบวก: โมเดลได้รับประโยชน์จากการฝึกอบรมร่วมกันที่หลากหลายทั่วทั้งโดเมนภาษา การมองเห็น และภาษาภาพในระดับอินเทอร์เน็ต

ลิงก์กระดาษ: PaLM-E: โมเดลภาษาต่อเนื่องหลายรูปแบบที่เป็นตัวเป็นตน

บันทึก

นี่เป็นเพียงสถาปัตยกรรมโมเดล ไม่มีตุ้มน้ำหนักที่ฝึกไว้ล่วงหน้า ไม่มีโทเค็นไนเซอร์
ในการอนุมานจริง ๆ คุณจะต้อง --> ตั้งค่า tokenizer สำหรับข้อความและรูปภาพ -> ฝึก -> การอนุมาน
หากคุณกำลังค้นคว้าเกี่ยวกับโมเดลหลายรูปแบบและต้องการฝึกอบรมโมเดลนี้และเผยแพร่เป็นโอเพ่นซอร์ส เข้าร่วมแล็บ Agora โดยคลิกที่แบนเนอร์!

ความชื่นชม

ผู้สร้างทั้งหมดใน Agora เข้าร่วม Agora ชุมชนวิศวกร AI ที่เปลี่ยนแปลงโลกด้วยการสร้างสรรค์ของพวกเขา
LucidRains ที่สร้างแรงบันดาลใจให้ฉันอุทิศตนให้กับ AI แบบโอเพ่นซอร์ส

เริ่มต้นอย่างรวดเร็ว

การติดตั้ง ?

pip install palme

การใช้งาน ?

 import torch
from palme . model import PalmE

#usage
img = torch . randn ( 1 , 3 , 256 , 256 )
caption = torch . randint ( 0 , 20000 , ( 1 , 1024 ))

model = PalmE ()
output = model ( img , caption )
print ( output . shape ) # (1, 1024, 20000)

กลยุทธ์ชุดข้อมูล

นี่คือตารางสรุปของชุดข้อมูลหลักที่กล่าวถึงในรายงาน:

ชุดข้อมูล	งาน	ขนาด	ลิงค์
แทมป์	การวางแผนการจัดการด้วยหุ่นยนต์ VQA	96,000 ฉาก	ชุดข้อมูลที่กำหนดเอง
ตารางภาษา	การวางแผนการจัดการหุ่นยนต์	ชุดข้อมูลที่กำหนดเอง	ลิงค์
การจัดการมือถือ	การวางแผนการนำทางและการจัดการด้วยหุ่นยนต์ VQA	ลำดับที่ 2912	อิงตามชุดข้อมูล SayCan
เว็บLI	การดึงข้อความรูปภาพ	คู่คำบรรยายภาพ 66M	ลิงค์
VQAv2	การตอบคำถามด้วยภาพ	คำถาม 1.1 ล้านข้อเกี่ยวกับรูปภาพ COCO	ลิงค์
ตกลง-VQA	การตอบคำถามด้วยภาพซึ่งต้องใช้ความรู้จากภายนอก	14,031 คำถามเกี่ยวกับภาพ COCO	ลิงค์
โคโค่	คำบรรยายภาพ	รูปภาพ 330,000 ภาพพร้อมคำบรรยาย	ลิงค์
วิกิพีเดีย	คลังข้อความ	ไม่มี	ลิงค์

ชุดข้อมูลวิทยาการหุ่นยนต์ที่สำคัญได้รับการรวบรวมสำหรับงานนี้โดยเฉพาะ ในขณะที่ชุดข้อมูลภาษาการมองเห็นที่ใหญ่กว่า (WebLI, VQAv2, OK-VQA, COCO) เป็นเกณฑ์มาตรฐานในสาขานั้น ชุดข้อมูลมีตั้งแต่ตัวอย่างนับหมื่นตัวอย่างสำหรับโดเมนหุ่นยนต์ไปจนถึงหลายสิบล้านตัวอย่างสำหรับข้อมูลภาษาวิสัยทัศน์ระดับอินเทอร์เน็ต

|| ร่วมเป็นส่วนหนึ่งของการผจญภัย PALM-E ?

ต้องการความฉลาดของคุณ! เข้าร่วมกับเราและร่วมกันทำให้ PALM-E สร้างแรงบันดาลใจมากยิ่งขึ้น:

รับสำเนาของคุณ : แยก repo PALM-E
ทำให้เป็นท้องถิ่น : โคลนส้อมของคุณ
เตรียมเครื่องมือของคุณ : ติดตั้งสิ่งจำเป็น
ค้นพบและสร้างสรรค์ : เจาะลึกโค้ด
สร้างเวทมนตร์ของคุณ : แยกสาขาและโค้ดออกไป
Show & Tell : ผลักดันการเปลี่ยนแปลงของคุณและสร้างคำขอดึง

- แก้ไข, ? การปรับปรุง เอกสาร หรือแนวคิด ยินดีต้อนรับทุกท่าน! มากำหนดอนาคตของ AI จับมือกัน

การอ้างอิง

@article{driess2023palme,
  title={PALM-E: An Embodied Multimodal Language Model},
  author={Driess, Danny and Xia, Fei and Sajjadi, Mehdi S. M. and Lynch, Corey and Chowdhery, Aakanksha and Ichter, Brian and Wahid, Ayzaan and Tompson, Jonathan and Vuong, Quan and Yu, Tianhe and Huang, Wenlong and Chebotar, Yevgen and Sermanet, Pierre and Duckworth, Daniel and Levine, Sergey and Vanhoucke, Vincent and Hausman, Karol and Toussaint, Marc and Greff, Klaus and Zeng, Andy and Mordatch, Igor and Florence, Pete},
  journal={arXiv preprint arXiv:2303.03378},
  year={2023},
  url={https://doi.org/10.48550/arXiv.2303.03378}
}