leptonai 다운로드 - leptonai 소스 코드 다운로드

leptonai

AI 소스 코드

0.22.3

다운로드

렙톤 AI

AI 서비스 구축을 단순화하는 Python 프레임워크

홈페이지 • API 플레이그라운드 • 예제 • 문서 • CLI 참조 • Twitter • 블로그

LeptonAI Python 라이브러리를 사용하면 Python 코드에서 AI 서비스를 쉽게 구축할 수 있습니다. 주요 기능은 다음과 같습니다:

몇 줄의 코드만으로 연구 및 모델링 코드를 서비스로 변환할 수 있는 Python 추상화 Photon .
몇 줄의 코드로 HuggingFace와 같은 모델을 실행하는 간단한 추상화입니다.
Llama, SDXL, Whisper 등과 같은 일반적인 모델에 대해 사전 구축된 예제입니다.
자동 배치, 백그라운드 작업 등 AI 맞춤형 배터리 포함
기본 Python 함수처럼 서비스를 자동으로 호출하는 클라이언트입니다.
클라우드 환경에 쉽게 제공되는 Python 구성 사양입니다.

단일 라이너 시작하기

다음을 사용하여 라이브러리를 설치하십시오.

pip install -U leptonai

그러면 leptonai Python 라이브러리와 명령줄 인터페이스 lep 설치됩니다. 그런 다음 한 줄의 코드로 HuggingFace 모델(예: gpt2 을 시작할 수 있습니다.

 lep photon runlocal - - name gpt2 - - model hf : gpt2

Llama2 모델에 대한 액세스 권한이 있고(여기에서 액세스 신청) 적당한 크기의 GPU가 있는 경우 다음을 사용하여 실행할 수 있습니다.

 # hint: you can also write `-n` and `-m` for short
lep photon runlocal - n llama2 - m hf : meta - llama / Llama - 2 - 7 b - chat - hf

(Huggingface 파이프라인과 호환되는 Llama2의 경우 -hf 버전을 사용해야 합니다.)

그런 다음 다음을 통해 서비스에 액세스할 수 있습니다.

 from leptonai . client import Client , local
c = Client ( local ( port = 8080 ))
# Use the following to print the doc
print ( c . run . __doc__ )
print ( c . run ( inputs = "I enjoy walking with my cute dog" ))

완전 관리형 Llama2 모델과 CodeLlama 모델은 플레이그라운드에서 찾을 수 있습니다.

많은 표준 HuggingFace 파이프라인이 지원됩니다. 자세한 내용은 설명서를 참조하세요. 그러나 모든 HuggingFace 모델이 지원되는 것은 아닙니다. 그 중 많은 모델이 사용자 정의 코드를 포함하고 표준 파이프라인이 아니기 때문입니다. 지원하고 싶은 인기 모델을 찾으셨다면 이슈나 PR을 올려주세요.

더 많은 예시를 확인해보세요

예제 저장소에서 더 많은 예제를 찾아볼 수 있습니다. 예를 들어 다음을 사용하여 Stable Diffusion XL 모델을 시작합니다.

git clone [email protected]:leptonai/examples.git
cd examples

 lep photon runlocal - n sdxl - m advanced / sdxl / sdxl . py

서비스가 실행되면 다음을 통해 액세스할 수 있습니다.

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

img_content = c . run ( prompt = "a cat launching rocket" , seed = 1234 )
with open ( "cat.png" , "wb" ) as fid :
    fid . write ( img_content )

또는 http://localhost:8080/ui에서 마운트된 Gradio UI에 액세스하세요. 자세한 내용은 README 파일을 확인하세요.

완전 관리형 SDXL은 API 액세스를 통해 https://dashboard.lepton.ai/playground/sdxl에서 호스팅됩니다.

자신만의 광자 쓰기

자신만의 Photon을 작성하는 것은 간단합니다. Python Photon 클래스를 작성하고 @Photon.handler 로 함수를 장식합니다. 입력과 출력이 JSON 직렬화 가능하다면 괜찮습니다. 예를 들어 다음 코드는 간단한 에코 서비스를 시작합니다.

 # my_photon.py
from leptonai . photon import Photon

class Echo ( Photon ):
    @ Photon . handler
    def echo ( self , inputs : str ) -> str :
        """
        A simple example to return the original input.
        """
        return inputs

그런 다음 다음을 사용하여 서비스를 시작할 수 있습니다.

lep photon runlocal -n echo -m my_photon.py

그러면 다음과 같이 서비스를 사용할 수 있습니다.

 from leptonai . client import Client , local

c = Client ( local ( port = 8080 ))

# will print available paths
print ( c . paths ())
# will print the doc for c.echo. You can also use `c.echo?` in Jupyter.
print ( c . echo . __doc__ )
# will actually call echo.
c . echo ( inputs = "hello world" )