หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

นิติศาสตร์มหาบัณฑิต

ยูทิลิตี้ CLI และไลบรารี Python สำหรับการโต้ตอบกับโมเดลภาษาขนาดใหญ่ ทั้งผ่าน API ระยะไกลและโมเดลที่สามารถติดตั้งและรันบนเครื่องของคุณเองได้

เรียกใช้พร้อมท์จากบรรทัดคำสั่ง จัดเก็บผลลัพธ์ใน SQLite สร้างการฝัง และอื่นๆ

ปรึกษา ไดเร็กทอรีปลั๊กอิน LLM เพื่อหาปลั๊กอินที่ให้การเข้าถึงโมเดลระยะไกลและในเครื่อง

เอกสารฉบับเต็ม: llm.datasette.io

ความเป็นมาของโครงการนี้:

  • llm, ttok และ strip-tags—เครื่องมือ CLI สำหรับการทำงานกับ ChatGPT และ LLM อื่นๆ
  • เครื่องมือ LLM CLI รองรับโมเดลภาษาที่โฮสต์เองผ่านปลั๊กอินแล้ว
  • การเข้าถึง Llama 2 จากบรรทัดคำสั่งด้วยปลั๊กอิน llm-replicate
  • เรียกใช้ Llama 2 บน Mac ของคุณเองโดยใช้ LLM และ Homebrew
  • ติดตามโลกอันแปลกประหลาดของ LLM
  • ขณะนี้ LLM มีเครื่องมือสำหรับการทำงานกับการฝัง
  • สร้างเครื่องมือค้นหารูปภาพด้วย llm-clip แชทกับนางแบบด้วยการแชท llm
  • ตัวเลือกมากมายสำหรับการรันโมเดล Mistral ในเทอร์มินัลของคุณโดยใช้ LLM

การติดตั้ง

ติดตั้งเครื่องมือนี้โดยใช้ pip : 

pip install llm

หรือใช้ Homebrew: 

brew install llm

คำแนะนำการติดตั้งโดยละเอียด

เริ่มต้นใช้งาน

หากคุณมีคีย์ OpenAI API คุณสามารถเริ่มต้นใช้งานโมเดล OpenAI ได้ทันที

นอกจาก OpenAI แล้ว คุณสามารถติดตั้งปลั๊กอินเพื่อเข้าถึงโมเดลโดยผู้ให้บริการรายอื่นได้ รวมถึงโมเดลที่สามารถติดตั้งและรันบนอุปกรณ์ของคุณเองได้

บันทึกคีย์ OpenAI API ของคุณดังนี้: 

llm keys set openai

สิ่งนี้จะแจ้งให้คุณใส่รหัสดังนี้: 

 Enter key: <paste here>

เมื่อคุณได้บันทึกคีย์แล้ว คุณสามารถเรียกใช้พร้อมท์ดังนี้: 

llm " Five cute names for a pet penguin " 
 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

อ่านคำแนะนำการใช้งานเพิ่มเติม

การติดตั้งโมเดลที่ทำงานบนเครื่องของคุณเอง

ปลั๊กอิน LLM สามารถเพิ่มการรองรับสำหรับรุ่นอื่น รวมถึงรุ่นที่ทำงานบนเครื่องของคุณเอง

หากต้องการดาวน์โหลดและเรียกใช้ Mistral 7B Instruct ในเครื่อง คุณสามารถติดตั้งปลั๊กอิน llm-gpt4all ได้: 

llm install llm-gpt4all

จากนั้นรันคำสั่งนี้เพื่อดูว่ามีรุ่นใดบ้าง: 

llm models
 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

ไฟล์โมเดลแต่ละไฟล์จะถูกดาวน์โหลดเมื่อคุณใช้งานครั้งแรก ลอง Mistral แบบนี้: 

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

คุณยังสามารถเริ่มเซสชันการสนทนากับโมเดลโดยใช้คำสั่ง llm chat : 

llm chat -m mistral-7b-instruct-v0
 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
>

การใช้พรอมต์ของระบบ

คุณสามารถใช้ตัวเลือก -s/--system เพื่อตั้งค่าพร้อมท์ของระบบ โดยให้คำแนะนำสำหรับการประมวลผลอินพุตอื่นๆ ของเครื่องมือ

หากต้องการอธิบายวิธีการทำงานของโค้ดในไฟล์ ให้ลองทำดังนี้: 

cat mycode.py | llm -s " Explain this code "

ช่วย

หากต้องการความช่วยเหลือ ให้รัน: 

 llm --help

คุณยังสามารถใช้: 

 python -m llm --help
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด