leptonaiダウンロード - leptonaiソースコードのダウンロード

leptonai

AI ソースコード

0.22.3

ダウンロード

レプトンAI

AI サービスの構築を簡素化する Python フレームワーク

ホームページ • API プレイグラウンド • 例 • ドキュメント • CLI リファレンス • Twitter • ブログ

LeptonAI Python ライブラリを使用すると、Python コードから AI サービスを簡単に構築できます。主な機能は次のとおりです。

Python の抽象化Photon 。数行のコードで研究コードとモデリングコードをサービスに変換できます。
数行のコードで HuggingFace のようなモデルを起動するためのシンプルな抽象化。
Llama、SDXL、Whisper などの一般的なモデルの事前構築済みサンプル。
自動バッチ処理、バックグラウンドジョブなど、AI に合わせたバッテリーが含まれています。
ネイティブ Python 関数のようにサービスを自動的に呼び出すクライアント。
Python の構成仕様はクラウド環境に容易に出荷されます。

ワンライナーで始める

以下を使用してライブラリをインストールします。

pip install -U leptonai

これにより、 leptonai Python ライブラリとコマンドラインインターフェイスlepがインストールされます。次に、1 行のコードで HuggingFace モデル、たとえばgpt2起動できます。

 lep photon runlocal - - name gpt2 - - model hf : gpt2

Llama2 モデルにアクセスでき (ここでアクセスを申請)、適切なサイズの GPU がある場合は、次のコマンドで起動できます。

 # hint: you can also write `-n` and `-m` for short
lep photon runlocal - n llama2 - m hf : meta - llama / Llama - 2 - 7 b - chat - hf

(Llama2 には、ハグフェイスパイプラインと互換性のある-hfバージョンを必ず使用してください。)

その後、次のコマンドを使用してサービスにアクセスできます。

 from leptonai . client import Client , local
c = Client ( local ( port = 8080 ))
# Use the following to print the doc
print ( c . run . __doc__ )
print ( c . run ( inputs = "I enjoy walking with my cute dog" ))

フルマネージドの Llama2 モデルと CodeLlama モデルはプレイグラウンドで見つけることができます。

多くの標準的な HuggingFace パイプラインがサポートされています。詳細については、ドキュメントを参照してください。ただし、HuggingFace モデルの多くにはカスタムコードが含まれており、標準パイプラインではないため、すべての HuggingFace モデルがサポートされているわけではありません。サポートしたい人気モデルを見つけた場合は、Issue または PR を開いてください。

他の例を確認する

サンプルリポジトリからさらに多くのサンプルを見つけることができます。たとえば、次のようにして Stable Diffusion XL モデルを起動します。

git clone [email protected]:leptonai/examples.git
cd examples

 lep photon runlocal - n sdxl - m advanced / sdxl / sdxl . py

サービスが実行されたら、次のコマンドでアクセスできます。

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

img_content = c . run ( prompt = "a cat launching rocket" , seed = 1234 )
with open ( "cat.png" , "wb" ) as fid :
    fid . write ( img_content )

または、http://localhost:8080/ui でマウントされた Gradio UI にアクセスします。詳細については、README ファイルを確認してください。

フルマネージド SDXL は、API アクセスを備えて https://dashboard.lepton.ai/playground/sdxl でホストされています。

独自のフォトンを書き込む

独自のフォトンの作成は簡単です。Python Photon クラスを作成し、 @Photon.handlerで関数を装飾します。入力と出力が JSON シリアル化可能であれば、問題なく使用できます。たとえば、次のコードは単純なエコーサービスを起動します。

 # my_photon.py
from leptonai . photon import Photon

class Echo ( Photon ):
    @ Photon . handler
    def echo ( self , inputs : str ) -> str :
        """
        A simple example to return the original input.
        """
        return inputs

その後、次のコマンドを使用してサービスを起動できます。

lep photon runlocal -n echo -m my_photon.py

その後、次のようにサービスを使用できるようになります。

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

# will print available paths
print ( c . paths ())
# will print the doc for c.echo. You can also use `c.echo?` in Jupyter.
print ( c . echo . __doc__ )
# will actually call echo.
c . echo ( inputs = "hello world" )