用于继续的 watsonx CustomLLM 定义

简单的 CustomLLM 定义可在Continue 扩展上利用 IBM watsonx LLM。

注意：watsonx 现在可以作为 continue 中的本地提供者使用！

watsonx 与继续 GIF

特征

支持 watsonx.ai SaaS。
支持响应流。
支持granite-34b-code-instruct 。
不记名令牌轮换。
Granite 的自定义提示模板。
支持 watsonx.ai 软件。
支持非花岗岩法学硕士。
创建单独的聊天和完成模型。

开始（约 2 分钟）

安装继续扩展（使用 VSCode 扩展进行测试）。

将此存储库克隆到您的~/.continue/目录中

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

制作本地继续配置的本地副本：

mv ~ /.continue/config.ts ~ /.continue/config-backup.ts

复制提供的config-sample.ts来替换~/.continue/config.ts ：

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

或者，如果您已自定义config.ts ，请手动添加代码以加载Watsonx模块并使用Watsonx.addConfig() ：

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

将src/watsonxenv.ts.sample复制到src/watsonxenv.ts并使用您的目标配置更新WatsonxEnv ：
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. 如果使用 watsonx SaaS：
  - 将YOUR_WATSONX_URL替换为您的 watsonx SaaS 端点，例如美国南部地区的https://us-south.ml.cloud.ibm.com 。
  - 将YOUR_WATSONX_APIKEY替换为您的 watsonx API 密钥。
  - 将YOUR_WATSONX_PROJECT_ID替换为您的 watsonx 项目 ID。
2. 如果使用 watsonx 软件：
  1. 选项 1 ：使用用户名/密码身份验证：
    - 将YOUR_WATSONX_URL替换为您的 watsonx 软件端点，例如https://cpd-watsonx.apps.example.com 。
    - 将YOUR_WATSONX_USERNAME替换为您的 watsonx 用户名，例如cpadmin 。
    - 将YOUR_WATSONX_PASSWORD替换为您的 watsonx 密码。
    - 将YOUR_WATSONX_PROJECT_ID替换为您的 watsonx 项目 ID。
  2. 选项 2 ：使用 API 密钥身份验证：
    - 将YOUR_WATSONX_URL替换为您的 watsonx 软件端点，例如https://cpd-watsonx.apps.example.com 。
    - 将YOUR_WATSONX_ZENAPIKEY替换为您的 watsonx Zen API 密钥。生成它：
      1. 登录 CPD Web 客户端。
      2. 在工具栏中，单击您的头像。
      3. 单击个人资料和设置。
      4. 单击API 密钥>生成新密钥。
      5. 单击“生成” 。
      6. 单击“复制”并将密钥保存在安全的地方。如果丢失此密钥，您将无法恢复。
      7. 通过运行以下命令生成 ZenApiKey： echo ":" | base64 ，将替换为您的 CPD 用户名，将替换为您刚刚创建的 API 密钥。
    - 将YOUR_WATSONX_PROJECT_ID替换为您的 watsonx 项目 ID。
- - 注意：如果使用具有自签名/不受信任 TLS 证书的 watsonx 软件实例，请取消注释~/.continue/continue-watsonx/src/watsonx.ts中的以下行以绕过 SSL 证书验证：
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. 或者，根据 watsonx 实例中部署的 LLM 更新models以注释/取消注释/编辑模型列表。
享受！