leptonai

เลปตัน เอไอ

กรอบ Pythonic เพื่อทำให้การสร้างบริการ AI ง่ายขึ้น

หน้าแรก • API Playground • ตัวอย่าง • เอกสารประกอบ • การอ้างอิง CLI • Twitter • บล็อก

ไลบรารี LeptonAI Python ช่วยให้คุณสร้างบริการ AI จากโค้ด Python ได้อย่างง่ายดาย คุณสมบัติที่สำคัญ ได้แก่ :

• Pythonic abstraction Photon ช่วยให้คุณสามารถแปลงโค้ดการวิจัยและการสร้างแบบจำลองเป็นบริการด้วยโค้ดเพียงไม่กี่บรรทัด
• นามธรรมง่ายๆ ในการเปิดตัวโมเดลต่างๆ เช่นเดียวกับบน HuggingFace โดยใช้โค้ดเพียงไม่กี่บรรทัด
• ตัวอย่างที่สร้างไว้ล่วงหน้าสำหรับโมเดลทั่วไป เช่น Llama, SDXL, Whisper และอื่นๆ
• รวมแบตเตอรี่ที่ปรับแต่งโดย AI เช่น แบตช์อัตโนมัติ งานพื้นหลัง ฯลฯ
• ไคลเอนต์เพื่อเรียกใช้บริการของคุณโดยอัตโนมัติเช่นฟังก์ชัน Python ดั้งเดิม
• ข้อกำหนดการกำหนดค่า Pythonic ที่จะจัดส่งพร้อมในสภาพแวดล้อมคลาวด์

เริ่มต้นด้วยซับเดียว

ติดตั้งไลบรารี่ด้วย:

pip install -U leptonai

สิ่งนี้จะติดตั้งไลบรารี leptonai Python เช่นเดียวกับอินเทอร์เฟซบรรทัดคำสั่ง lep จากนั้นคุณสามารถเปิดใช้โมเดล HuggingFace เช่น gpt2 ในโค้ดหนึ่งบรรทัด:

 lep photon runlocal - - name gpt2 - - model hf : gpt2

หากคุณมีสิทธิ์เข้าถึงรุ่น Llama2 (สมัครเพื่อเข้าถึงที่นี่) และคุณมี GPU ที่มีขนาดเหมาะสม คุณสามารถเปิดใช้งานด้วย:

 # hint: you can also write `-n` and `-m` for short
lep photon runlocal - n llama2 - m hf : meta - llama / Llama - 2 - 7 b - chat - hf

(อย่าลืมใช้เวอร์ชัน -hf สำหรับ Llama2 ซึ่งเข้ากันได้กับไปป์ไลน์ของ Huggingface)

จากนั้นคุณสามารถเข้าถึงบริการด้วย:

 from leptonai . client import Client , local
c = Client ( local ( port = 8080 ))
# Use the following to print the doc
print ( c . run . __doc__ )
print ( c . run ( inputs = "I enjoy walking with my cute dog" ))

โมเดล Llama2 และ CodeLlama ที่มีการจัดการเต็มรูปแบบสามารถพบได้ในสนามเด็กเล่น

รองรับไปป์ไลน์ HuggingFace มาตรฐานจำนวนมาก - ดูรายละเอียดเพิ่มเติมในเอกสารประกอบ ไม่รองรับ HuggingFace บางรุ่น เนื่องจากหลายรุ่นมีโค้ดแบบกำหนดเองและไม่ใช่ไปป์ไลน์มาตรฐาน หากคุณพบรุ่นยอดนิยมที่คุณต้องการสนับสนุน กรุณาเปิดประเด็นหรือประชาสัมพันธ์

ตรวจสอบตัวอย่างเพิ่มเติม

คุณสามารถดูตัวอย่างเพิ่มเติมจากพื้นที่เก็บข้อมูลตัวอย่าง ตัวอย่างเช่น เปิดตัวรุ่น Stable Diffusion XL ด้วย:

git clone [email protected]:leptonai/examples.git
cd examples

 lep photon runlocal - n sdxl - m advanced / sdxl / sdxl . py

เมื่อบริการทำงานแล้ว คุณสามารถเข้าถึงได้ด้วย:

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

img_content = c . run ( prompt = "a cat launching rocket" , seed = 1234 )
with open ( "cat.png" , "wb" ) as fid :
    fid . write ( img_content )

หรือเข้าถึง Gradio UI ที่ติดตั้งได้ที่ http://localhost:8080/ui ตรวจสอบไฟล์ README เพื่อดูรายละเอียดเพิ่มเติม

SDXL ที่มีการจัดการเต็มรูปแบบโฮสต์อยู่ที่ https://dashboard.lepton.ai/playground/sdxl พร้อมการเข้าถึง API

การเขียนโฟตอนของคุณเอง

การเขียนโฟตอนของคุณเองนั้นง่ายมาก: เขียนคลาส Python Photon และตกแต่งฟังก์ชันด้วย @Photon.handler ตราบใดที่อินพุตและเอาต์พุตของคุณเป็นแบบอนุกรม JSON คุณก็พร้อมแล้ว ตัวอย่างเช่น รหัสต่อไปนี้จะเรียกใช้บริการ echo แบบธรรมดา:

 # my_photon.py
from leptonai . photon import Photon

class Echo ( Photon ):
    @ Photon . handler
    def echo ( self , inputs : str ) -> str :
        """
        A simple example to return the original input.
        """
        return inputs

จากนั้นคุณสามารถเปิดบริการด้วย:

lep photon runlocal -n echo -m my_photon.py

จากนั้นคุณสามารถใช้บริการของคุณได้ดังนี้:

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

# will print available paths
print ( c . paths ())
# will print the doc for c.echo. You can also use `c.echo?` in Jupyter.
print ( c . echo . __doc__ )
# will actually call echo.
c . echo ( inputs = "hello world" )

สำหรับรายละเอียดเพิ่มเติม โปรดดูเอกสารประกอบและตัวอย่าง

มีส่วนร่วม

ยินดีต้อนรับการมีส่วนร่วมและความร่วมมือและชื่นชมอย่างสูง โปรดดูคู่มือผู้ร่วมให้ข้อมูลสำหรับวิธีมีส่วนร่วม

ใบอนุญาต

ไลบรารี Lepton AI Python เปิดตัวภายใต้ลิขสิทธิ์ Apache 2.0

หมายเหตุสำหรับนักพัฒนา: การพัฒนาในช่วงแรกของ LeptonAI นั้นอยู่ใน mono-repo ที่แยกจากกัน ซึ่งเป็นเหตุผลว่าทำไมคุณอาจเห็นการคอมมิตจาก repo leptonai/lepton เราตั้งใจที่จะใช้ repo โอเพ่นซอร์สนี้เป็นแหล่งที่มาของความจริงในอนาคต