leptonai

Lepton AI

Kerangka kerja Pythonic untuk menyederhanakan pembangunan layanan AI

Beranda • API Playground • Contoh • Dokumentasi • Referensi CLI • Twitter • Blog

Pustaka LeptonAI Python memungkinkan Anda membangun layanan AI dari kode Python dengan mudah. Fitur utama meliputi:

• Photon abstraksi Pythonic, memungkinkan Anda mengubah kode penelitian dan pemodelan menjadi layanan dengan beberapa baris kode.
• Abstraksi sederhana untuk meluncurkan model seperti yang ada di HuggingFace dalam beberapa baris kode.
• Contoh bawaan untuk model umum seperti Llama, SDXL, Whisper, dan lainnya.
• Termasuk baterai yang disesuaikan dengan AI seperti autobatching, pekerjaan latar belakang, dll.
• Klien yang secara otomatis memanggil layanan Anda seperti fungsi asli Python.
• Spesifikasi konfigurasi Pythonic agar siap dikirimkan di lingkungan cloud.

Memulai dengan satu kalimat

Instal perpustakaan dengan:

pip install -U leptonai

Ini menginstal perpustakaan leptonai Python, serta antarmuka baris perintah lep . Anda kemudian dapat meluncurkan model HuggingFace, misalnya gpt2 , dalam satu baris kode:

 lep photon runlocal - - name gpt2 - - model hf : gpt2

Jika Anda memiliki akses ke model Llama2 (ajukan permohonan akses di sini) dan Anda memiliki GPU berukuran wajar, Anda dapat meluncurkannya dengan:

 # hint: you can also write `-n` and `-m` for short
lep photon runlocal - n llama2 - m hf : meta - llama / Llama - 2 - 7 b - chat - hf

(Pastikan untuk menggunakan versi -hf untuk Llama2, yang kompatibel dengan pipeline pelukan.)

Anda kemudian dapat mengakses layanan dengan:

 from leptonai . client import Client , local
c = Client ( local ( port = 8080 ))
# Use the following to print the doc
print ( c . run . __doc__ )
print ( c . run ( inputs = "I enjoy walking with my cute dog" ))

Model Llama2 dan model CodeLlama yang dikelola sepenuhnya dapat ditemukan di taman bermain.

Banyak pipeline HuggingFace standar yang didukung - cari tahu detail selengkapnya di dokumentasi. Namun tidak semua model HuggingFace didukung, karena banyak di antaranya yang berisi kode khusus dan bukan pipeline standar. Jika Anda menemukan model populer yang ingin Anda dukung, silakan buka terbitan atau PR.

Lihat lebih banyak contoh

Anda dapat mengetahui lebih banyak contoh dari repositori contoh. Misalnya, luncurkan model Stable Diffusion XL dengan:

git clone [email protected]:leptonai/examples.git
cd examples

 lep photon runlocal - n sdxl - m advanced / sdxl / sdxl . py

Setelah layanan berjalan, Anda dapat mengaksesnya dengan:

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

img_content = c . run ( prompt = "a cat launching rocket" , seed = 1234 )
with open ( "cat.png" , "wb" ) as fid :
    fid . write ( img_content )

atau akses Gradio UI yang terpasang di http://localhost:8080/ui. Periksa file README untuk lebih jelasnya.

SDXL yang dikelola sepenuhnya dihosting di https://dashboard.lepton.ai/playground/sdxl dengan akses API.

Menulis foton Anda sendiri

Menulis foton Anda sendiri itu sederhana: tulis kelas Python Photon dan hiasi fungsinya dengan @Photon.handler . Selama input dan output Anda dapat diserialkan JSON, Anda siap melakukannya. Misalnya, kode berikut meluncurkan layanan echo sederhana:

 # my_photon.py
from leptonai . photon import Photon

class Echo ( Photon ):
    @ Photon . handler
    def echo ( self , inputs : str ) -> str :
        """
        A simple example to return the original input.
        """
        return inputs

Anda kemudian dapat meluncurkan layanan dengan:

lep photon runlocal -n echo -m my_photon.py

Kemudian, Anda dapat menggunakan layanan Anda sebagai berikut:

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

# will print available paths
print ( c . paths ())
# will print the doc for c.echo. You can also use `c.echo?` in Jupyter.
print ( c . echo . __doc__ )
# will actually call echo.
c . echo ( inputs = "hello world" )

Untuk lebih jelasnya, lihat dokumentasi dan contohnya.

Berkontribusi

Kontribusi dan kolaborasi sangat diharapkan dan dihargai. Silakan lihat panduan kontributor untuk cara terlibat.

Lisensi

Pustaka Lepton AI Python dirilis di bawah lisensi Apache 2.0.

Catatan Pengembang: pengembangan awal LeptonAI berada dalam mono-repo terpisah, itulah sebabnya Anda mungkin melihat komitmen dari repo leptonai/lepton . Kami bermaksud menggunakan repo open source ini sebagai sumber kebenaran di masa mendatang.