ngoprek llm
1.0.0
Erforderlich: Node.js 18 oder höher.
Die folgende Demo kann mit GPT von OpenAI oder einem lokalen LLM ausgeführt werden.
Methode Nr. 1 : Um über OpenAI auf die API zuzugreifen, benötigen Sie einen API- Schlüssel von OpenAI, der in einer Umgebungsvariablen namens OPENAI_API_KEY gespeichert ist. Bitte lesen Sie, wie Sie einen API-Schlüssel generieren und vergessen Sie nicht, diesen API-Schlüssel sicher zu verwenden!
Methode #2 : Führen Sie zuerst LocalAI aus und nehmen Sie ein geeignetes Modell, zum Beispiel LLama 2 7B, im GGML-Format. Stellen Sie dann die beiden Umgebungsvariablen OPENAI_API_BASE so ein, dass sie auf die Serveradresse von LocalAI verweisen, und CHAT_MODEL um den zu verwendenden Modellnamen auszuwählen.
$ curl -OL https://github.com/go-skynet/LocalAI/releases/download/v1.23.2/local-ai-avx-Linux-x86_64
$ chmod +x ./local-ai-avx-Linux-x86_64
$ curl -OL https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin
$ mv llama-2-7b-chat.ggmlv3.q4_0.bin models/
$ ./local-ai-avx-Linux-x86_64
$ export CHAT_MODEL= ' llama-2-7b-chat.ggmlv3.q4_0.bin '
$ export OPENAI_API_BASE= ' http://127.0.0.1:8080 'Beispiel für die Ausführung einer Demo zur Vervollständigung eines Satzes ( Vervollständigung ):
$ node complete.js "Sukarno dan Hatta pada tahun 1945"
Beispiel für die Durchführung einer Demo mit Fragen:
$ node ask.js "Berapa jumlah penduduk Bandung?"
Beispiel für die Durchführung einer Demo, um detaillierte Informationen zu erhalten:
$ node query.js "Berapa koordinat geografis dari Bandung?"
Sequenzdiagramm
Teilnehmer Kunde
LLM-Teilnehmer
Teilnehmer Geocoder
Kunde->>+LLM: „Wie lauten die geografischen Koordinaten von Bandung?“
LLM-->>+Geocoder: geocode("Bandung")
Geocoder-->>+LLM: {"lat":-6.9,"long":107.6}
LLM->>+Client: „Bandung liegt auf der Breite -6,9 und der Länge 107,6.“
$ node query.js "Bagaimana suhu di ibukota Jawa Timur?"
Sequenzdiagramm
Teilnehmer Kunde
LLM-Teilnehmer
Teilnehmer Geocoder
Teilnehmer WeatherStation
Kunde->>+LLM: „Wie ist die Temperatur in der Hauptstadt von Ost-Java?“
Hinweis rechts von LLM: Hauptstadt von Ost-Java = Surabaya
LLM-->>+Geocoder: geocode("Surabaya")
Geocoder-->>+LLM: {"lat":-7.3,"long":112.7}
LLM-->>+Wetterstation: Wetterstation (-7,3, 112,7)
WeatherStation-->>+LLM: {"main": {"temp": 27}}
LLM->>+Client: „Die Temperatur in Surabaya liegt bei etwa 27°C“
Die Demoversion von Clojure kann wie unten gezeigt direkt über das Terminal ausgeführt werden, es ist jedoch besser, sie mit der REPL zu verstehen und auszuprobieren (zum Beispiel mit Visual Studio Code + Calva oder Vim/NeoVim + vim-iced Plugin).
Stellen Sie zunächst sicher, dass die erforderlichen Module installiert sind:
$ npm install
Beispiel für die Ausführung einer Demo zur Vervollständigung eines Satzes ( Vervollständigung ):
$ npm run nbb complete.cljs "Ibukota Indonesia adalah"
Beispiel für die Durchführung einer Demo mit Fragen:
$ npm run nbb ask.cljs "Apa ibukota Jawa Timur?"
Beispiel für die Durchführung einer Demo, um detaillierte Informationen zu erhalten:
$ npm run nbb probe.cljs "Kapan saya terakhir ke Bandung?"
