definição watsonx CustomLLM para Continuar

Definição simples de CustomLLM para aproveitar LLMs IBM watsonx em extensões Continue.

Nota : watsonx agora está disponível nativamente como provedor em continuar!

watsonx com Continuar GIF

Características

Suporte watsonx.ai SaaS.
Suporte ao streaming de resposta.
Suporte granite-34b-code-instruct .
Rotação do token do portador.
Modelo de prompt personalizado para Granite.
Suporte ao software watsonx.ai.
Apoie LLMs não-granito.
Crie modelos separados de bate-papo e conclusão.

Comece (~ 2min)

Instale a extensão Continue (testada com extensão VSCode).

Clone este repositório em seu diretório ~/.continue/

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

Faça uma cópia local da sua configuração local do Continue:
```
mv ~ /.continue/config.ts ~ /.continue/config-backup.ts
```

Copie o config-sample.ts fornecido para substituir ~/.continue/config.ts :

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

ou, se você customizou seu config.ts , inclua manualmente o código para carregar o módulo Watsonx e use Watsonx.addConfig() :

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

Copie src/watsonxenv.ts.sample para src/watsonxenv.ts e atualize WatsonxEnv com sua configuração de destino:
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. Se estiver usando watsonx SaaS:
  - Substitua YOUR_WATSONX_URL pelo seu terminal watsonx SaaS, por exemplo, https://us-south.ml.cloud.ibm.com para a região Sul dos EUA.
  - Substitua YOUR_WATSONX_APIKEY pela sua chave de API watsonx.
  - Substitua YOUR_WATSONX_PROJECT_ID pelo ID do projeto watsonx.
2. Se estiver usando o software watsonx:
  1. Opção 1 : usando autenticação de nome de usuário/senha:
    - Substitua YOUR_WATSONX_URL pelo endpoint do software watsonx, por exemplo, https://cpd-watsonx.apps.example.com .
    - Substitua YOUR_WATSONX_USERNAME pelo seu nome de usuário watsonx, por exemplo, cpadmin .
    - Substitua YOUR_WATSONX_PASSWORD pela sua senha watsonx.
    - Substitua YOUR_WATSONX_PROJECT_ID pelo ID do projeto watsonx.
  2. Opção 2 : usando autenticação de chave API:
    - Substitua YOUR_WATSONX_URL pelo endpoint do software watsonx, por exemplo, https://cpd-watsonx.apps.example.com .
    - Substitua YOUR_WATSONX_ZENAPIKEY pela sua chave de API watsonx Zen. Para gerá-lo:
      1. Faça login no cliente web CPD.
      2. Na barra de ferramentas, clique no seu avatar.
      3. Clique em Perfil e configurações .
      4. Clique em Chave de API > Gerar nova chave .
      5. Clique em Gerar .
      6. Clique em Copiar e salve sua chave em algum lugar seguro. Você não poderá recuperar esta chave se perdê-la.
      7. Gere seu ZenApiKey executando o seguinte comando: echo ":" | base64 , substituindo pelo seu nome de usuário CPD e pela chave API que você acabou de criar.
    - Substitua YOUR_WATSONX_PROJECT_ID pelo ID do projeto watsonx.
- - Observação : se estiver usando a instância do software watsonx com certificados TLS autoassinados/não confiáveis, remova o comentário das seguintes linhas em ~/.continue/continue-watsonx/src/watsonx.ts para ignorar a verificação do certificado SSL:
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. Opcionalmente , atualize models para comentar/descomentar/editar a lista de modelos com base em LLMs implantados em sua instância watsonx.
Aproveitar!