ollama python

올라마 파이썬 라이브러리

Ollama Python 라이브러리는 Python 3.8+ 프로젝트를 Ollama와 통합하는 가장 쉬운 방법을 제공합니다.

전제 조건

• Ollama가 설치되어 실행되어야 합니다.
• 라이브러리와 함께 사용할 모델을 가져옵니다. ollama pull <model> 예: ollama pull llama3.2
  • 사용 가능한 모델에 대한 자세한 내용은 Ollama.com을 참조하세요.

설치하다

pip install ollama

용법

 from ollama import chat
from ollama import ChatResponse

response : ChatResponse = chat ( model = 'llama3.2' , messages = [
  {
    'role' : 'user' ,
    'content' : 'Why is the sky blue?' ,
  },
])
print ( response [ 'message' ][ 'content' ])
# or access fields directly from the response object
print ( response . message . content )

응답 유형에 대한 자세한 내용은 _types.py를 참조하세요.

스트리밍 응답

stream=True 설정하여 응답 스트리밍을 활성화할 수 있습니다.

 from ollama import chat

stream = chat (
    model = 'llama3.2' ,
    messages = [{ 'role' : 'user' , 'content' : 'Why is the sky blue?' }],
    stream = True ,
)

for chunk in stream :
  print ( chunk [ 'message' ][ 'content' ], end = '' , flush = True )

맞춤 클라이언트

사용자 정의 클라이언트는 ollama 에서 Client 또는 AsyncClient 인스턴스화하여 생성할 수 있습니다.

모든 추가 키워드 인수는 httpx.Client 로 전달됩니다.

 from ollama import Client
client = Client (
  host = 'http://localhost:11434' ,
  headers = { 'x-some-header' : 'some-value' }
)
response = client . chat ( model = 'llama3.2' , messages = [
  {
    'role' : 'user' ,
    'content' : 'Why is the sky blue?' ,
  },
])

비동기 클라이언트

AsyncClient 클래스는 비동기 요청을 만드는 데 사용됩니다. Client 클래스와 동일한 필드로 구성할 수 있습니다.

 import asyncio
from ollama import AsyncClient

async def chat ():
  message = { 'role' : 'user' , 'content' : 'Why is the sky blue?' }
  response = await AsyncClient (). chat ( model = 'llama3.2' , messages = [ message ])

asyncio . run ( chat ())

stream=True 로 설정하면 Python 비동기 생성기를 반환하도록 함수가 수정됩니다.

 import asyncio
from ollama import AsyncClient

async def chat ():
  message = { 'role' : 'user' , 'content' : 'Why is the sky blue?' }
  async for part in await AsyncClient (). chat ( model = 'llama3.2' , messages = [ message ], stream = True ):
    print ( part [ 'message' ][ 'content' ], end = '' , flush = True )

asyncio . run ( chat ())

API

Ollama Python 라이브러리의 API는 Ollama REST API를 중심으로 설계되었습니다.

채팅

 ollama . chat ( model = 'llama3.2' , messages = [{ 'role' : 'user' , 'content' : 'Why is the sky blue?' }])

생성하다

 ollama . generate ( model = 'llama3.2' , prompt = 'Why is the sky blue?' )

목록

 ollama . list ()

보여주다

 ollama . show ( 'llama3.2' )

만들다

 modelfile = '''
FROM llama3.2
SYSTEM You are mario from super mario bros.
'''

ollama . create ( model = 'example' , modelfile = modelfile )

복사

 ollama . copy ( 'llama3.2' , 'user/llama3.2' )

삭제

 ollama . delete ( 'llama3.2' )

당기다

 ollama . pull ( 'llama3.2' )

푸시

 ollama . push ( 'user/llama3.2' )

포함시키다

 ollama . embed ( model = 'llama3.2' , input = 'The sky is blue because of rayleigh scattering' )

삽입(일괄)

 ollama . embed ( model = 'llama3.2' , input = [ 'The sky is blue because of rayleigh scattering' , 'Grass is green because of chlorophyll' ])

추신

 ollama . ps ()

오류

요청이 오류 상태를 반환하거나 스트리밍 중에 오류가 감지되면 오류가 발생합니다.

 model = 'does-not-yet-exist'

try :
  ollama . chat ( model )
except ollama . ResponseError as e :
  print ( 'Error:' , e . error )
  if e . status_code == 404 :
    ollama . pull ( model )