継続のための watsonx CustomLLM 定義

Continue 拡張で IBM watsonx LLM を活用するためのシンプルな CustomLLM 定義。

注: watsonx は、引き続きプロバイダーとしてネイティブに利用できるようになりました。

ワトソンクスとContinue GIF

特徴

watsonx.ai SaaS をサポートします。
応答のストリーミングをサポートします。
granite-34b-code-instructサポートします。
ベアラートークンのローテーション。
Granite のカスタムプロンプトテンプレート。
watsonx.ai ソフトウェアをサポートします。
非花崗岩 LLM をサポートします。
個別のチャットモデルと完了モデルを作成します。

始めましょう (約 2 分)

Continue 拡張機能をインストールします (VSCode 拡張機能でテスト済み)。
このリポジロティのクローンを~/.continue/ディレクトリに作成します
```
 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git
```
ローカルの続行設定のローカルコピーを作成します。
```
mv ~ /.continue/config.ts ~ /.continue/config-backup.ts
```

提供されたconfig-sample.tsをコピーして、 ~/.continue/config.tsを置き換えます。

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

または、 config.tsカスタマイズしている場合は、 Watsonxモジュールをロードするコードを手動で追加し、 Watsonx.addConfig()を使用します。

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

src/watsonxenv.ts.sample src/watsonxenv.tsにコピーし、ターゲット構成でWatsonxEnv更新します。
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. watsonx SaaS を使用する場合:
  - YOUR_WATSONX_URL watsonx SaaS エンドポイントに置き換えます (例: 米国南部地域の場合はhttps://us-south.ml.cloud.ibm.com 。
  - YOUR_WATSONX_APIKEY watsonx API キーに置き換えます。
  - YOUR_WATSONX_PROJECT_ID watsonx プロジェクト ID に置き換えます。
2. watsonx ソフトウェアを使用している場合:
  1. オプション 1 : ユーザー名/パスワード認証を使用する:
    - YOUR_WATSONX_URL watsonx ソフトウェアエンドポイント (例: https://cpd-watsonx.apps.example.comに置き換えます。
    - YOUR_WATSONX_USERNAME watsonx ユーザー名 (例: cpadminに置き換えます。
    - YOUR_WATSONX_PASSWORD watsonx パスワードに置き換えます。
    - YOUR_WATSONX_PROJECT_ID watsonx プロジェクト ID に置き換えます。
  2. オプション 2 : API キー認証を使用する:
    - YOUR_WATSONX_URL watsonx ソフトウェアエンドポイント (例: https://cpd-watsonx.apps.example.comに置き換えます。
    - YOUR_WATSONX_ZENAPIKEY watsonx Zen API キーに置き換えます。生成するには:
      1. CPD Web クライアントにログインします。
      2. ツールバーからアバターをクリックします。
      3. [プロファイルと設定] をクリックします。
      4. [API キー] > [新しいキーの生成]をクリックします。
      5. 「生成」をクリックします。
      6. 「コピー」をクリックして、キーを安全な場所に保存します。このキーを紛失した場合、回復することはできません。
      7. 次のコマンドを実行して、ZenApiKey を生成します。 echo ":" | base64 。 CPD ユーザー名に置き換え、作成したばかりの API キーに置き換えます。
    - YOUR_WATSONX_PROJECT_ID watsonx プロジェクト ID に置き換えます。
- - 注: 自己署名/信頼できない TLS 証明書を持つ watsonx ソフトウェアインスタンスを使用している場合は、 ~/.continue/continue-watsonx/src/watsonx.ts内の次の行のコメントを解除して、SSL 証明書の検証をバイパスします。
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. 必要に応じて、watsonx インスタンスにデプロイされた LLM に基づいてmodels更新して、モデルリストにコメント/コメント解除/編集を行います。
楽しむ！