Définition Watsonx CustomLLM pour Continuer

Définition CustomLLM simple pour exploiter les LLM IBM Watsonx sur les extensions Continue.

Remarque : watsonx est désormais disponible nativement en tant que fournisseur dans continue !

watsonx avec Continuer GIF

Caractéristiques

Prise en charge de Watsonx.ai SaaS.
Prise en charge du streaming de réponse.
Prise en charge granite-34b-code-instruct .
Rotation des jetons du porteur.
Modèle d'invite personnalisé pour Granite.
Supporte le logiciel watsonx.ai.
Prend en charge les LLM non-granite.
Créez des modèles de discussion et d'achèvement distincts.

Commencer (~ 2min)

Installez l'extension Continue (testée avec l'extension VSCode).

Clonez ce dépôt dans votre répertoire ~/.continue/

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

Faites une copie locale de votre configuration Continue locale :
```
mv ~ /.continue/config.ts ~ /.continue/config-backup.ts
```

Copiez le config-sample.ts fourni pour remplacer ~/.continue/config.ts :

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

ou, si vous avez personnalisé votre config.ts , ajoutez manuellement le code pour charger le module Watsonx et utilisez Watsonx.addConfig() :

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

Copiez src/watsonxenv.ts.sample vers src/watsonxenv.ts et mettez à jour WatsonxEnv avec votre configuration cible :
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. Si vous utilisez Watsonx SaaS :
  - Remplacez YOUR_WATSONX_URL par votre point de terminaison Watsonx SaaS, par exemple https://us-south.ml.cloud.ibm.com pour la région Sud des États-Unis.
  - Remplacez YOUR_WATSONX_APIKEY par votre clé API watsonx.
  - Remplacez YOUR_WATSONX_PROJECT_ID par votre ID de projet Watsonx.
2. Si vous utilisez le logiciel Watsonx :
  1. Option 1 : utilisation de l'authentification par nom d'utilisateur/mot de passe :
    - Remplacez YOUR_WATSONX_URL par le point de terminaison de votre logiciel Watsonx, par exemple https://cpd-watsonx.apps.example.com .
    - Remplacez YOUR_WATSONX_USERNAME par votre nom d'utilisateur Watsonx, par exemple cpadmin .
    - Remplacez YOUR_WATSONX_PASSWORD par votre mot de passe Watsonx.
    - Remplacez YOUR_WATSONX_PROJECT_ID par votre ID de projet Watsonx.
  2. Option 2 : utilisation de l'authentification par clé API :
    - Remplacez YOUR_WATSONX_URL par le point de terminaison de votre logiciel Watsonx, par exemple https://cpd-watsonx.apps.example.com .
    - Remplacez YOUR_WATSONX_ZENAPIKEY par votre clé API Watsonx Zen. Pour le générer :
      1. Connectez-vous au client Web CPD.
      2. Dans la barre d'outils, cliquez sur votre avatar.
      3. Cliquez sur Profil et paramètres .
      4. Cliquez sur Clé API > Générer une nouvelle clé .
      5. Cliquez sur Générer .
      6. Cliquez sur Copier et enregistrez votre clé dans un endroit sûr. Vous ne pouvez pas récupérer cette clé si vous la perdez.
      7. Générez votre ZenApiKey en exécutant la commande suivante : echo ":" | base64 , en remplaçant par votre nom d'utilisateur CPD et par la clé API que vous venez de créer.
    - Remplacez YOUR_WATSONX_PROJECT_ID par votre ID de projet Watsonx.
- - Remarque : si vous utilisez une instance logicielle Watsonx avec des certificats TLS auto-signés/non fiables, décommentez les lignes suivantes dans ~/.continue/continue-watsonx/src/watsonx.ts pour contourner la vérification du certificat SSL :
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. Eventuellement , mettez à jour models pour commenter/décommenter/modifier la liste de modèles en fonction des LLM déployés dans votre instance Watsonx.
Apprécier!