GenossGPT

Genoss GPT

การเปลี่ยนบรรทัดเดียวสำหรับ OpenAI chatgpt & Embeddings ขับเคลื่อนโดยรุ่น OSS

Genoss เป็นโครงการริเริ่มโอเพนซอร์ซที่มีจุดมุ่งหมายเพื่อเสนอทางเลือกที่ไร้รอยต่อสำหรับโมเดล OpenAI เช่น GPT 3.5 & 4 โดยใช้โมเดลโอเพนซอร์ซเช่น GPT4ALL

โครงการ bootstrapped โดยใช้ sicarator

คุณสมบัติ

• โอเพ่นซอร์ส : Genoss สร้างขึ้นบนรุ่นโอเพนซอร์ซเช่น GPT4ALL
• การเปลี่ยนบรรทัดหนึ่ง : Genoss เป็นการแทนที่บรรทัดเดียวสำหรับ OpenAI chatgpt API

การสาธิต

การแชทเสร็จสิ้นและฝังด้วย gpt4all

Genoss-demo-last.mp4

รุ่นที่รองรับ

• GPT4ALL MODEL & EMBEDDING
• รุ่นอื่น ๆ เร็ว ๆ นี้!

การเริ่มต้น

ก่อนที่คุณจะเริ่มดำเนินการตรวจสอบให้แน่ใจว่ามีการติดตั้ง Python 3.11 หรือสูงกว่าบนเครื่องของคุณ

ติดตั้งเซิร์ฟเวอร์

ใช้ PIP (แนะนำ)

ขณะนี้เราอยู่ในการเผยแพร่

pip install genoss

ติดตั้งเวอร์ชันล่าสุดจากที่เก็บนี้

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

เรียกใช้เซิร์ฟเวอร์

genoss-server
# To know more
genoss-server --help

เข้าถึงเอกสาร API ผ่าน http: // localhost: 4321/เอกสาร

การติดตั้งแบบจำลอง

ติดตั้งรุ่น GPT4ALL

ขั้นตอนแรกคือการติดตั้ง GPT4ALL ซึ่งเป็นรุ่นที่รองรับเพียงอย่างเดียวในขณะนี้ คุณสามารถทำได้โดยทำตามขั้นตอนเหล่านี้:

1. โคลนที่เก็บ:

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. นำทางไปยังไดเรกทอรีแบ็กเอนด์:

 cd gpt4all/gpt4all-backend/

3. สร้างไดเรกทอรีบิลด์ใหม่และนำทางเข้าไป:

mkdir build && cd build

4. กำหนดค่าและสร้างโครงการโดยใช้ CMake:

cmake ..
cmake --build . --parallel

5. ตรวจสอบว่า libllmodel* มีอยู่ใน gpt4all-backend/build

6. นำทางกลับไปที่รูทและติดตั้งแพ็คเกจ Python:

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. ดาวน์โหลดไปยังเครื่องในพื้นที่ของคุณจากที่นี่และใส่ไว้ในไดเรกทอรี local_models เป็น local_models/ggml-gpt4all-j-v1.3-groovy.bin

การรันแอปพลิเคชัน

คุณต้องติดตั้งบทกวีและรุ่น Python ที่ถูกต้อง (3.11*)

poetry install

สำหรับข้อมูลเพิ่มเติมในการติดตั้งที่สมบูรณ์เพื่อการพัฒนาคุณสามารถตรวจสอบการสนับสนุน. md หากคุณต้องการเริ่มต้นเซิร์ฟเวอร์คุณสามารถติดตั้งด้วยกลุ่มบทกวีที่เกี่ยวข้อง:

poetry install --only main,llms

หลังจากติดตั้งแพ็คเกจ Python แล้วคุณสามารถเรียกใช้แอปพลิเคชันได้ เซิร์ฟเวอร์ UVICORN ASGI สามารถใช้เรียกใช้แอปพลิเคชันของคุณ:

uvicorn main:app --host 0.0.0.0 --port 4321

คำสั่งนี้เปิดตัวแอปพลิเคชัน Genoss บนพอร์ต 4321 ของเครื่องของคุณ

เรียกใช้การสาธิต WebApp

ใน demo/

cp .env.example .env

แทนที่ค่าแล้ว

PYTHONPATH=. streamlit run demo/main.py

การใช้งาน Genoss API

Genoss API เป็นการแทนที่บรรทัดเดียวสำหรับ OpenAI Chatgpt API รองรับพารามิเตอร์เดียวกันและส่งคืนรูปแบบการตอบกลับเดียวกับ OpenAI API

เพียงแทนที่จุดสิ้นสุด OpenAI API ด้วยจุดสิ้นสุดของ Genoss API และคุณก็พร้อมที่จะไป!

ปรับเปลี่ยนโมเดลเป็นรายการรุ่นที่รองรับและคุณพร้อมที่จะไป!

คุณสามารถค้นหาเอกสาร API AT /docs หรือ /redoc

การพัฒนาที่กำลังจะมาถึง

ในขณะที่ GPT4ALL เป็นรุ่นเดียวที่รองรับในปัจจุบัน แต่เรากำลังวางแผนที่จะเพิ่มโมเดลเพิ่มเติมในอนาคต ดังนั้นคอยติดตามการอัปเดตที่น่าตื่นเต้นมากขึ้น

วิสัยทัศน์:

• อนุญาตให้รุ่น LLM ทำงานในพื้นที่
• อนุญาตให้ LLM วิ่งในพื้นที่โดยใช้ HuggingFace
• อนุญาตให้ LLM วิ่งบน Huggingface และเป็นเพียงเสื้อคลุมรอบ API การอนุมาน
• อนุญาตให้ติดตั้งรุ่น LLM ได้อย่างง่ายดายในเครื่อง
• อนุญาตให้ผู้ใช้ใช้โซลูชันผู้ให้บริการคลาวด์เช่น GCP, AWS, Azure ฯลฯ ...
• อนุญาตให้ผู้ใช้การจัดการด้วยคีย์ API
• มีทุกรุ่นที่พร้อมใช้งาน (ข้อความถึงข้อความข้อความถึงภาพข้อความไปยังเสียงเสียงไปยังข้อความ ฯลฯ )
• เข้ากันได้กับ OpenAI API สำหรับรุ่นที่เข้ากันได้กับ OpenAI API

ประวัติศาสตร์

Genoss ถูกจินตนาการโดย Stan Girard เมื่อคุณลักษณะของ quivr มีขนาดใหญ่และซับซ้อนเกินไปที่จะรักษา

แนวคิดคือการสร้าง API ง่าย ๆ ที่จะอนุญาตให้ใช้โมเดลใด ๆ ที่มี API เดียวกับ API ของ OpenAI

จากนั้น @mattzcarey, @maximethoonsen, @wirg และ @stangirard เริ่มทำงานในโครงการและมันก็กลายเป็นจริง

ผลงาน

การมีส่วนร่วมของคุณใน Genoss ได้รับการชื่นชมอย่างมาก! อย่าลังเลที่จะส่งปัญหาใด ๆ หรือดึงคำขอ

ขอบคุณไปหาคนที่ยอดเยี่ยมเหล่านี้:

ผู้สนับสนุน❤

โครงการนี้เป็นไปไม่ได้หากไม่ได้รับการสนับสนุนจากผู้สนับสนุนของเรา ขอบคุณสำหรับการสนับสนุน!

ใบอนุญาต

Genoss ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache2 สำหรับรายละเอียดเพิ่มเติมโปรดดูไฟล์ใบอนุญาต