ngoprek llm

Нгопрек LLM (большая языковая модель)

Требуется: Node.js 18 или новее.

Следующую демонстрацию можно запустить с использованием GPT из OpenAI или локального LLM.

Способ № 1. Для доступа к API OpenAI вам понадобится ключ API от OpenAI, который хранится в переменной среды с именем OPENAI_API_KEY . Пожалуйста, прочитайте, как сгенерировать ключ API, и не забудьте безопасно использовать этот ключ API!

Способ №2 : Сначала запустите LocalAI и возьмите подходящую модель, например LLama 2 7B, в формате GGML. Затем установите две переменные среды OPENAI_API_BASE , чтобы они ссылались на адрес сервера LocalAI, и CHAT_MODEL чтобы выбрать имя модели для использования.

Пример подробных шагов:

$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 '

Версия JavaScript

Пример запуска демо-версии для завершения предложения ( завершения ):

 $ node complete.js "Sukarno dan Hatta pada tahun 1945"

Пример запуска демо-версии для запроса:

 $ node ask.js "Berapa jumlah penduduk Bandung?"

Пример запуска демо-версии для получения подробной информации:

 $ node query.js "Berapa koordinat geografis dari Bandung?"

 последовательностьдиаграмма
  участник Клиент
  участник LLM
  участник Геокодер
  Клиент->>+LLM: «Каковы географические координаты Бандунга?»
  LLM-->>+Геокодер: геокод("Бандунг")
  Геокодер -->>+LLM: {"lat":-6.9,"long":107.6}
  LLM->>+Клиент: «Бандунг находится на широте -6,9 и 107,6 долготы».

 $ node query.js "Bagaimana suhu di ibukota Jawa Timur?"

 последовательностьдиаграмма
  участник Клиент
  участник LLM
  участник Геокодер
  участник WeatherStation
  Клиент->>+магистр права: «Какая температура в столице Восточной Явы?»
  Справа от LLM: столица Восточной Явы = Сурабая.
  LLM -->>+Геокодер: геокод («Сурабая»)
  Геокодер -->>+LLM: {"lat":-7.3,"long":112.7}
  LLM -->>+ WeatherStation: WeatherStation(-7.3, 112.7)
  WeatherStation -->>+LLM: {"main": {"temp": 27}}
  LLM->>+Клиент: «Температура в Сурабае около 27°C»

Кложурская версия

Демо-версию Clojure можно запустить непосредственно через терминал, как показано ниже, но лучше разобраться и попробовать ее с помощью REPL (например, с Visual Studio Code + Calva или Vim/NeoVim + плагин vim-iced).

Сначала убедитесь, что установлены необходимые модули:

 $ npm install

Пример запуска демо-версии для завершения предложения ( завершения ):

 $ npm run nbb complete.cljs "Ibukota Indonesia adalah"

Пример запуска демо-версии для запроса:

 $ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"

Пример запуска демо-версии для получения подробной информации:

 $ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"