Definición de Watsonx CustomLLM para Continuar

Definición simple de CustomLLM para aprovechar los LLM de IBM watsonx en extensiones Continuar.

Nota : watsonx ahora está disponible de forma nativa como proveedor en continuar.

watsonx con Continuar GIF

Características

Soporte watsonx.ai SaaS.
Admite transmisión de respuesta.
Soporte granite-34b-code-instruct .
Rotación de tokens al portador.
Plantilla de aviso personalizada para Granite.
Compatible con el software watsonx.ai.
Admite LLM que no sean de granito.
Cree modelos de chat y finalización separados.

Empezar (~ 2 min)

Instale la extensión Continuar (probada con la extensión VSCode).

Clona este repositorio en tu directorio ~/.continue/

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

Haga una copia local de su configuración local de Continuar:
```
mv ~ /.continue/config.ts ~ /.continue/config-backup.ts
```

Copie el config-sample.ts proporcionado para reemplazar ~/.continue/config.ts :

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

o, si ha personalizado su config.ts , agregue manualmente el código para cargar el módulo Watsonx y use Watsonx.addConfig() :

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

Copie src/watsonxenv.ts.sample a src/watsonxenv.ts y actualice WatsonxEnv con su configuración de destino:
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. Si utiliza Watsonx SaaS:
  - Reemplace YOUR_WATSONX_URL con su punto final watsonx SaaS, por ejemplo, https://us-south.ml.cloud.ibm.com para la región sur de EE. UU.
  - Reemplace YOUR_WATSONX_APIKEY con su clave API de Watsonx.
  - Reemplace YOUR_WATSONX_PROJECT_ID con el ID de su proyecto watsonx.
2. Si utiliza el software watsonx:
  1. Opción 1 : usar autenticación de nombre de usuario/contraseña:
    - Reemplace YOUR_WATSONX_URL con su punto final de software watsonx, por ejemplo, https://cpd-watsonx.apps.example.com .
    - Reemplace YOUR_WATSONX_USERNAME con su nombre de usuario watsonx, por ejemplo, cpadmin .
    - Reemplace YOUR_WATSONX_PASSWORD con su contraseña de Watsonx.
    - Reemplace YOUR_WATSONX_PROJECT_ID con el ID de su proyecto watsonx.
  2. Opción 2 : usar la autenticación de clave API:
    - Reemplace YOUR_WATSONX_URL con su punto final de software watsonx, por ejemplo, https://cpd-watsonx.apps.example.com .
    - Reemplace YOUR_WATSONX_ZENAPIKEY con su clave API Watsonx Zen. Para generarlo:
      1. Inicie sesión en el cliente web de CPD.
      2. En la barra de herramientas, haz clic en tu avatar.
      3. Haz clic en Perfil y configuración .
      4. Haga clic en Clave API > Generar nueva clave .
      5. Haga clic en Generar .
      6. Haga clic en Copiar y guarde su clave en un lugar seguro. No podrá recuperar esta clave si la pierde.
      7. Genere su ZenApiKey ejecutando el siguiente comando: echo ":" | base64 , reemplazando con su nombre de usuario de CPD y con la clave API que acaba de crear.
    - Reemplace YOUR_WATSONX_PROJECT_ID con el ID de su proyecto watsonx.
- - Nota : si utiliza una instancia de software watsonx con certificados TLS autofirmados/no confiables, descomente las siguientes líneas en ~/.continue/continue-watsonx/src/watsonx.ts para omitir la verificación del certificado SSL:
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. Opcionalmente , actualice models para comentar/descomentar/editar la lista de modelos según los LLM implementados en su instancia de Watsonx.
¡Disfrutar!