llm
0.18
원격 API와 모델을 통해 대규모 언어 모델과 상호 작용하기 위한 CLI 유틸리티 및 Python 라이브러리로, 자체 컴퓨터에 설치하고 실행할 수 있습니다.
명령줄에서 프롬프트를 실행하고, 결과를 SQLite에 저장하고, 임베딩을 생성하는 등의 작업을 수행하세요.
원격 및 로컬 모델에 대한 액세스를 제공하는 플러그인은 LLM 플러그인 디렉토리를 참조하세요.
전체 문서: llm.datasette.io
이 프로젝트의 배경:
pip 사용하여 이 도구를 설치합니다.
pip install llm또는 Homebrew를 사용하여:
brew install llm자세한 설치 지침.
OpenAI API 키가 있으면 OpenAI 모델 사용을 즉시 시작할 수 있습니다.
OpenAI 대신 플러그인을 설치하여 자신의 장치에 설치하고 실행할 수 있는 모델을 포함하여 다른 제공업체의 모델에 액세스할 수 있습니다.
OpenAI API 키를 다음과 같이 저장하세요.
llm keys set openai다음과 같이 키를 입력하라는 메시지가 표시됩니다.
Enter key: <paste here>
이제 키를 저장했으므로 다음과 같은 프롬프트를 실행할 수 있습니다.
llm " Five cute names for a pet penguin " 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly
자세한 내용은 사용 지침을 읽어보세요.
LLM 플러그인은 자신의 컴퓨터에서 실행되는 모델을 포함하여 대체 모델에 대한 지원을 추가할 수 있습니다.
Mistral 7B Instruct를 로컬로 다운로드하고 실행하려면 llm-gpt4all 플러그인을 설치할 수 있습니다.
llm install llm-gpt4all그런 다음 이 명령을 실행하여 어떤 모델을 사용할 수 있는지 확인하세요.
llm models gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...
각 모델 파일은 처음 사용할 때 한 번 다운로드됩니다. 다음과 같이 Mistral을 사용해 보세요.
llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus ' llm chat 명령을 사용하여 모델과의 채팅 세션을 시작할 수도 있습니다.
llm chat -m mistral-7b-instruct-v0 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
>
-s/--system 옵션을 사용하여 시스템 프롬프트를 설정하고 도구에 대한 다른 입력을 처리하기 위한 지침을 제공할 수 있습니다.
파일의 코드가 어떻게 작동하는지 설명하려면 다음을 시도해 보세요.
cat mycode.py | llm -s " Explain this code " 도움이 필요하면 다음을 실행하세요.
llm --help
다음을 사용할 수도 있습니다.
python -m llm --help
