watsonx CustomLLM-Definition für Continue

Einfache CustomLLM-Definition zur Nutzung von IBM Watsonx LLMs bei Continue-Erweiterungen.

Hinweis : watsonx ist jetzt nativ als Anbieter in Weiter verfügbar!

watsonx mit Weiter-GIF

Merkmale

Unterstützen Sie watsonx.ai SaaS.
Unterstützt das Streamen der Antwort.
Unterstützen Sie granite-34b-code-instruct .
Inhaber-Token-Rotation.
Benutzerdefinierte Eingabeaufforderungsvorlage für Granite.
Unterstützen Sie die watsonx.ai-Software.
Unterstützt Nicht-Granit-LLMs.
Erstellen Sie separate Chat- und Abschlussmodelle.

Erste Schritte (~ 2 Min.)

Installieren Sie die Continue-Erweiterung (getestet mit der VSCode-Erweiterung).

Klonen Sie dieses Repository in Ihrem ~/.continue/ -Verzeichnis

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

Erstellen Sie eine lokale Kopie Ihrer lokalen Continue-Konfiguration:
```
mv ~ /.continue/config.ts ~ /.continue/config-backup.ts
```

Kopieren Sie die bereitgestellte config-sample.ts um ~/.continue/config.ts zu ersetzen:

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

Oder, wenn Sie Ihr config.ts angepasst haben, fügen Sie den Code manuell hinzu, um das Watsonx -Modul zu laden, und verwenden Sie Watsonx.addConfig() :

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

Kopieren Sie src/watsonxenv.ts.sample nach src/watsonxenv.ts und aktualisieren Sie WatsonxEnv mit Ihrer Zielkonfiguration:
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. Bei Verwendung von watsonx SaaS:
  - Ersetzen Sie YOUR_WATSONX_URL durch Ihren Watsonx-SaaS-Endpunkt, z. B. https://us-south.ml.cloud.ibm.com für die Region USA Süd.
  - Ersetzen Sie YOUR_WATSONX_APIKEY durch Ihren Watsonx-API-Schlüssel.
  - Ersetzen Sie YOUR_WATSONX_PROJECT_ID durch Ihre Watsonx-Projekt-ID.
2. Bei Verwendung der Watsonx-Software:
  1. Option 1 : Benutzername/Passwort-Authentifizierung verwenden:
    - Ersetzen Sie YOUR_WATSONX_URL durch Ihren Watsonx-Software-Endpunkt, z. B. https://cpd-watsonx.apps.example.com .
    - Ersetzen Sie YOUR_WATSONX_USERNAME durch Ihren Watsonx-Benutzernamen, z. B. cpadmin .
    - Ersetzen Sie YOUR_WATSONX_PASSWORD durch Ihr Watsonx-Passwort.
    - Ersetzen Sie YOUR_WATSONX_PROJECT_ID durch Ihre Watsonx-Projekt-ID.
  2. Option 2 : API-Schlüsselauthentifizierung verwenden:
    - Ersetzen Sie YOUR_WATSONX_URL durch Ihren Watsonx-Software-Endpunkt, z. B. https://cpd-watsonx.apps.example.com .
    - Ersetzen Sie YOUR_WATSONX_ZENAPIKEY durch Ihren watsonx Zen API-Schlüssel. Um es zu generieren:
      1. Melden Sie sich beim CPD-Webclient an.
      2. Klicken Sie in der Symbolleiste auf Ihren Avatar.
      3. Klicken Sie auf Profil und Einstellungen .
      4. Klicken Sie auf API-Schlüssel > Neuen Schlüssel generieren .
      5. Klicken Sie auf „Generieren“ .
      6. Klicken Sie auf „Kopieren“ und speichern Sie Ihren Schlüssel an einem sicheren Ort. Sie können diesen Schlüssel nicht wiederherstellen, wenn Sie ihn verlieren.
      7. Generieren Sie Ihren ZenApiKey, indem Sie den folgenden Befehl ausführen: echo ":" | base64 und ersetzen Sie durch Ihren CPD-Benutzernamen und durch den API-Schlüssel, den Sie gerade erstellt haben.
    - Ersetzen Sie YOUR_WATSONX_PROJECT_ID durch Ihre Watsonx-Projekt-ID.
- - Hinweis : Wenn Sie eine watsonx-Softwareinstanz mit selbstsignierten/nicht vertrauenswürdigen TLS-Zertifikaten verwenden, entkommentieren Sie die folgenden Zeilen in ~/.continue/continue-watsonx/src/watsonx.ts um die SSL-Zertifikatsüberprüfung zu umgehen:
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. Optional können models aktualisieren, um die Modellliste basierend auf den in Ihrer watsonx-Instanz bereitgestellten LLMs zu kommentieren/entkommentieren/bearbeiten.
Genießen!