llm cli

LLM CLI

LLM과 상호 작용하는 CLI 도구입니다. 다음 형식으로 API 키를 제공하세요. <completer>_API_KEY>

지원되는 완성자는 다음과 같습니다.

• ANTHROPIC
• MISTRAL
• OPENAI
• PERPLEXITY

설치

현재는 소스에서 빌드하고 생성된 바이너리를 사용할 수 있습니다. 저장소를 복제하고 다음 명령을 실행합니다.

make

그러면 bin 디렉터리에 llm 이라는 바이너리가 생성됩니다.

특징 ?

1. 컨텍스트 지속성

모든 상호 작용은 파일 시스템에 로컬로 저장됩니다. 이 설정을 사용하면 여러 대화에서 컨텍스트가 유지되면서 LLM에 여러 프롬프트를 보낼 수 있습니다.

2. 공유된 대화 기록

대화 기록은 지원되는 모든 LLM에서 공유될 수 있습니다. 이를 통해 각 모델의 장점을 활용하고 기능을 결합하여 강력한 대화 경험을 만들 수 있습니다.

3. 터미널 지원

명령 앞에 llm을 붙이면 해당 명령에 대한 명확하고 간결한 설명과 함께 사용법을 보여주는 예가 제공됩니다.

4. 다중 세션

각각 고유한 컨텍스트와 기록이 있는 여러 세션을 가질 수 있습니다. 이를 통해 다양한 대화 간에 전환하고 일관된 대화 경험을 유지할 수 있습니다.

곧 출시되나요?

• 각 변형의 기본 모델
• 터미널 지원을 위해 세심하게 제작된 시스템 프롬프트
• 여러 세션
• 티뷰를 이용한 UI

용법

1. CLI

CLI를 사용하려면 API 키를 환경 변수로 제공해야 합니다. 이러한 변수는 셸 구성 파일(예: .zshrc )에서 설정하거나 터미널에서 직접 설정할 수 있습니다.

환경 변수를 설정한 후에는 다음 명령(repo 루트에서)을 사용하여 LLM을 프롬프트할 수 있습니다.

bin/llm < llm-name > [flags] < prompt >

채팅하려면 간단히 chat 하위 명령을 사용하세요.

bin/llm < llm-name > chat

물론, 어디에서나 CLI를 사용하려면 $PATH 에 /path/to/repo/bin 추가하세요.

2. 명령 지원

사용하려는 완성기의 이름으로 환경 변수 DEFAULT_COMPLETER 만듭니다. 그들은:

• claude
• mistral
• gpt

그런 다음 이해하려는 명령 앞에 llm 붙여 예제와 어떻게 작동하는지 이해할 수 있습니다.