用於繼續的 watsonx CustomLLM 定義

簡單的 CustomLLM 定義可在Continue 擴充功能上利用 IBM watsonx LLM。

注意：watsonx 現在可以作為 continue 中的本機提供者使用！

watsonx 與繼續 GIF

特徵

支持 watsonx.ai SaaS。
支援響應流。
支援granite-34b-code-instruct 。
不記名令牌輪換。
Granite 的自訂提示範本。
支援 watsonx.ai 軟體。
支持非花崗岩法學碩士。
建立單獨的聊天和完成模型。

開始使用（約 2 分鐘）

安裝繼續擴充（使用 VSCode 擴充功能進行測試）。

將此儲存庫複製到您的~/.continue/目錄中

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

製作本地繼續配置的本機副本：

mv ~ /.continue/config.ts ~ /.continue/config-backup.ts

複製提供的config-sample.ts來取代~/.continue/config.ts ：

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

或者，如果您自訂了config.ts ，請手動新增程式碼以載入Watsonx模組並使用Watsonx.addConfig() ：

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

將src/watsonxenv.ts.sample複製到src/watsonxenv.ts並使用您的目標配置更新WatsonxEnv ：
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. 如果使用 watsonx SaaS：
  - 將YOUR_WATSONX_URL替換為您的 watsonx SaaS 端點，例如美國南部地區的https://us-south.ml.cloud.ibm.com 。
  - 將YOUR_WATSONX_APIKEY替換為您的 watsonx API 金鑰。
  - 將YOUR_WATSONX_PROJECT_ID替換為您的 watsonx 項目 ID。
2. 如果使用 watsonx 軟體：
  1. 選項 1 ：使用使用者名稱/密碼驗證：
    - 將YOUR_WATSONX_URL替換為您的 watsonx 軟體端點，例如https://cpd-watsonx.apps.example.com 。
    - 將YOUR_WATSONX_USERNAME替換為您的 watsonx 使用者名，例如cpadmin 。
    - 將YOUR_WATSONX_PASSWORD替換為您的 watsonx 密碼。
    - 將YOUR_WATSONX_PROJECT_ID替換為您的 watsonx 項目 ID。
  2. 選項 2 ：使用 API 金鑰驗證：
    - 將YOUR_WATSONX_URL替換為您的 watsonx 軟體端點，例如https://cpd-watsonx.apps.example.com 。
    - 將YOUR_WATSONX_ZENAPIKEY替換為您的 watsonx Zen API 金鑰。生成它：
      1. 登入 CPD Web 用戶端。
      2. 在工具列中，按一下您的頭像。
      3. 點擊個人資料和設定。
      4. 按一下API 金鑰>產生新金鑰。
      5. 按一下“生成” 。
      6. 點擊“複製”並將密鑰保存在安全的地方。如果遺失此金鑰，您將無法復原。
      7. 透過執行以下命令產生 ZenApiKey： echo ":" | base64 ，將替換為您的 CPD 使用者名，將替換為您剛剛建立的 API 金鑰。
    - 將YOUR_WATSONX_PROJECT_ID替換為您的 watsonx 項目 ID。
- - 注意：如果使用具有自簽名/不受信任 TLS 憑證的 watsonx 軟體實例，請取消註解~/.continue/continue-watsonx/src/watsonx.ts中的以下行以繞過 SSL 憑證驗證：
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. 或者，根據 watsonx 實例中部署的 LLM 更新models以註解/取消註解/編輯模型清單。
享受！