ngoprek llm

Ngoprek LLM(대형 언어 모델)

필수: Node.js 18 이상.

다음 데모는 OpenAI 또는 로컬 LLM의 GPT를 사용하여 실행할 수 있습니다.

방법 #1 : OpenAI에서 API에 액세스하려면 OPENAI_API_KEY 라는 환경 변수에 저장된 OpenAI의 API 키가 필요합니다. API 키 생성 방법을 읽어보시고, 이 API 키를 안전하게 사용하는 것을 잊지 마세요!

방법 #2 : 먼저 LocalAI를 실행하고 GGML 형식의 LLama 2 7B와 같은 적합한 모델을 선택합니다. 그런 다음 두 가지 환경 변수 OPENAI_API_BASE LocalAI의 서버 주소를 참조하도록 설정하고 CHAT_MODEL 사용하여 사용할 모델 이름을 선택합니다.

세부 단계의 예:

$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 '

자바스크립트 버전

문장 완성을 위한 데모 실행 예( 완성 ):

 $ node complete.js "Sukarno dan Hatta pada tahun 1945"

질문하기 위한 데모 실행의 예:

 $ node ask.js "Berapa jumlah penduduk Bandung?"

자세한 정보를 찾기 위해 데모를 실행하는 예:

 $ node query.js "Berapa koordinat geografis dari Bandung?"

 시퀀스 다이어그램
  참가자 클라이언트
  LLM 참가자
  참가자 지오코더
  클라이언트->>+LLM: "반둥의 지리적 좌표는 무엇입니까?"
  LLM-->>+지오코더: geocode("반둥")
  지오코더-->>+LLM: {"lat":-6.9,"long":107.6}
  LLM->>+클라이언트: "반둥은 위도 -6.9, 경도 107.6에 있습니다."

 $ node query.js "Bagaimana suhu di ibukota Jawa Timur?"

 시퀀스 다이어그램
  참가자 클라이언트
  LLM 참가자
  참가자 지오코더
  참가자 WeatherStation
  클라이언트->>+LLM: "동자바 수도의 기온은 어떻습니까?"
  LLM의 오른쪽 참고: East Java의 수도 = Surabaya
  LLM-->>+지오코더: geocode("수라바야")
  지오코더-->>+LLM: {"lat":-7.3,"long":112.7}
  LLM-->>+WeatherStation: WeatherStation(-7.3, 112.7)
  WeatherStation-->>+LLM: {"main": {"temp": 27}}
  LLM->>+클라이언트: "수라바야의 기온은 약 27°C입니다."

클로저 버전

Clojure 데모 버전은 아래와 같이 터미널을 통해 직접 실행할 수 있지만, REPL(예: Visual Studio Code + Calva 또는 Vim/NeoVim + vim-iced 플러그인)을 사용하여 이해하고 사용해 보는 것이 더 좋습니다.

먼저, 필요한 모듈이 설치되어 있는지 확인하세요.

 $ npm install

문장 완성을 위한 데모 실행 예( 완성 ):

 $ npm run nbb complete.cljs "Ibukota Indonesia adalah"

질문하기 위한 데모 실행의 예:

 $ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"

자세한 정보를 찾기 위해 데모를 실행하는 예:

 $ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"