next multimodal search demo

นี่คือการสาธิตการค้นหาหลายรูปแบบที่สร้างด้วย Weaviate, ImageBind/ Vertex AI และ Next.js

??? บล็อกโพสต์ - การสร้าง Multimodal AI ใน TypeScript

- เริ่มต้นใช้งาน

ขั้นแรก ทำการโคลนโปรเจ็กต์ด้วยคำสั่งด้านล่าง

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

พื้นที่เก็บข้อมูลช่วยให้คุณทำสามสิ่งได้

1. เรียกใช้เว็บแอป Next.js
2. เรียกใช้อินสแตนซ์ของ Weaviate หรือสร้าง Weaviate Sandbox
3. นำเข้ารูปภาพ เสียง และวิดีโอไปยังฐานข้อมูล Weaviate ของคุณ

การเรียกใช้ Weaviate (โดยใช้ ImageBind)

โปรดทราบว่าในครั้งแรกที่คุณเรียกใช้ Docker จะดาวน์โหลดโมดูล Weaviate multi2vec-bind ~4.8GB ซึ่งมีโมเดล ImageBind

หากต้องการเริ่มต้นอินสแตนซ์ Weaviate ให้รันคำสั่งต่อไปนี้ ซึ่งจะใช้ไฟล์ docker-compose.yml

docker compose up -d

สร้างอินสแตนซ์ Weaviate (โดยใช้ Vertex AI)

สร้างอินสแตนซ์ Weaviate บน Weaviate Cloud Services ตามที่อธิบายไว้ในคู่มือนี้

- สร้างไฟล์ .env และเพิ่มคีย์ต่อไปนี้

• คีย์ Google Vertex API ของคุณเป็น GOOGLE_API_KEY (คุณสามารถรับสิ่งนี้ได้ในการตั้งค่า Vertex AI ของคุณ)
• คีย์ Weaviate API ของคุณเป็น WEAVIATE_ADMIN_KEY (คุณสามารถรับสิ่งนี้ได้ในแดชบอร์ด Weaviate ของคุณใต้รายละเอียดแซนด์บ็อกซ์)
• URL โฮสต์ Weaviate ของคุณเป็น WEAVIATE_HOST_URL (คุณสามารถรับสิ่งนี้ได้ในแดชบอร์ด Weaviate ของคุณใต้รายละเอียดแซนด์บ็อกซ์)

- การนำเข้าข้อมูล

ก่อนที่คุณจะสามารถนำเข้าข้อมูล ให้เพิ่มไฟล์ใดๆ ลงในประเภทสื่อที่เกี่ยวข้องในโฟลเดอร์ public/

เมื่อข้อมูลของคุณอยู่ในโฟลเดอร์ที่ถูกต้อง ให้รัน yarn install เพื่อติดตั้งการพึ่งพาโปรเจ็กต์ทั้งหมด และเพื่อนำเข้าข้อมูลของคุณไปยัง Weaviate และเริ่มต้นคอลเลกชัน ให้รัน:

yarn run import

อาจใช้เวลาหนึ่งหรือสองนาที

เรียกใช้แอปพลิเคชัน Next.js ของคุณ

ตรวจสอบให้แน่ใจว่าคุณมีอินสแตนซ์ Weaviate ทำงานโดยนำเข้าข้อมูลที่นำเข้าก่อนเริ่ม Next.js Web App

เพื่อเรียกใช้ Web App

yarn dev

...ก็ค้นหาได้แล้ว!!

ทรัพยากร

เรียนรู้เพิ่มเติมเกี่ยวกับการใช้งานหลายรูปแบบ

• การสร้างเสริมการดึงข้อมูลหลายรูปแบบ (RAG)
• โมเดลการฝังหลายรูปแบบ

??‍♂️ การแก้ไขปัญหา

• ตรวจสอบเอกสาร Weaviate
• เปิดประเด็น

เครดิตบางส่วนเป็นของ Steven สำหรับเทมเพลต Spirals ของเขา