lm api

LM-API

대형 언어 모델을 쿼리하기위한 명령 줄 유틸리티

이 repo는 큰 언어 모델 (LM)에서 CLI를 통해 일련의 쿼리를 쉽게 실행하고 단일 문서로 잘 형식화 된 일련의 완료 세트를 쉽게 실행할 수 있도록 만들어졌습니다. 또한 기본 Python API가 있습니다.

일반적인 워크 플로 :

1. CSV / .xlsx / 등을 만듭니다. 모델 쿼리가있는 파일
2. -i /path/to/my/queries.csv 로 lm-api 실행하고 -kc 사용하여 쿼리와 함께 열 이름을 지정하십시오.
3. 완료를 단일 마크 다운 파일로 컴파일하십시오!

쿼리는 팬더스 호환 형식이 될 것으로 예상되며 결과는 쉽게보기/공유를 위해 Markdown 형식의 텍스트 파일에 기록됩니다.

예제 출력 파일은 data/lm-api-output 에 제공됩니다.

---

설치

pip + git 통해 직접 설치하십시오.

 # create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install git+https://github.com/pszemraj/lm-api.git

소스에서 설치하십시오

대안 적으로, 클로닝 후, cd lm-api 디렉토리로, 실행 :

git clone https://github.com/pszemraj/lm-api.git
cd lm-api
# create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install -e .

src/lm_api/test_goose_api.py 스크립트로 빠른 테스트를 실행할 수 있습니다.

API 키에서

쿼리하려는 각 공급자마다 API 키가 필요합니다. 현재 다음 제공자가 지원됩니다.

• 거위
• Openai

API 키는 환경 변수 GOOSE 및 OPENAI 에서 설정할 수 있습니다.

 export OPENAI=api_key11111114234234etc
# or
export GOOSE=api_key11111114234234etc

또는 -k 스위치로 lm-api 호출 할 때 인수로 통과하십시오.

용법

명령 줄 스크립트는 src/lm_api/ 에 있으며 어디서나 실행할 수있는 CLI 명령으로 설치됩니다. 현재 명령은 lm-api 로 제한됩니다 ( 앞으로 더 앞으로도 ).

켈 참고 : API 키는 환경 변수에서 설정되거나 -k 플래그와 함께 lm-api 에 인수로 전달되어야합니다. 켈

예

lm-api -i data/test_queries.xlsx -o ./my-test-folder

이것은 data/test_queries.xlsx 의 쿼리를 실행하고 현재 작업 디렉토리의 my-test-folder/ 의 .md 파일에 결과를 작성합니다.

세부

스크립트에는 -h 플래그 (예 : lm-api -h )로 볼 수있는 많은 옵션이 있습니다.

usage: lm-api [-h] [-i INPUT_FILE] [-o OUTPUT_DIR] [-provider PROVIDER_ID] [-k KEY] [-p PREFIX] [-s SUFFIX] [-simple]
              [-kc KEY_COLUMN] [-m MODEL_ID] [-n N_TOKENS] [-t TEMPERATURE] [-f2 FREQUENCY_PENALTY]
              [-p2 PRESENCE_PENALTY] [-v]

입력 파일 형식

입력 파일은 Pandas 호환 형식 (예 : .csv , .xlsx 등)이어야합니다. 쿼리의 기본 열 이름은 query 이며 -kc 플래그로 변경할 수 있습니다.

예제 입력 파일은 data/test_queries.xlsx 에 제공됩니다.

---

TODO / 로드맵

참고 : 이것은 진행중인 작업이며, 다음은 수행해야 할 일의 실행 목록입니다. 이것은 5 월 및 아마도 업데이트 될 것입니다.

• --prefix 및 --suffix 플래그를 "프롬프트 엔진"스위치로 조정하여 다양한 옵션 (예 : --prompt-engine=prefix 또는 --prompt-engine=prefix+suffix )으로 프롬프트를 증강시킬 수 있습니다.
• 쿼리 파일이 필요하지 않은 간단한 CLI 명령 추가
• 다른 공급자에 대한 지원 추가 (예 : TextSynth)
• 필요에 따라 성능을 패키지 / 조정으로 유효성을 유지합니다 (즉, 가져 오기 lm_api 작동해야하며 전체 기능 WRT CLI가 있어야합니다)
• 설정 테스트

우리는 토론 섹션에서 잠재적 인 기능 목록을 컴파일/논의하고 있으므로 자유롭게 생각을 추가하십시오!

---