Определение watsonx CustomLLM для продолжения

Простое определение CustomLLM для использования LLM IBM watsonx в расширениях Continue.

Примечание : watsonx теперь доступен в качестве провайдера в continue!

watsonx с Продолжить GIF

Функции

Поддержка watsonx.ai SaaS.
Поддержка потоковой передачи ответов.
Поддержка granite-34b-code-instruct .
Ротация токенов на предъявителя.
Пользовательский шаблон подсказки для Granite.
Поддержка программного обеспечения watsonx.ai.
Поддерживайте негранитные программы LLM.
Создайте отдельные модели чата и завершения.

Начало работы (~ 2 минуты)

Установите расширение «Продолжить» (протестировано с расширением VSCode).
Клонируйте этот репозиторий в свой каталог ~/.continue/
```
 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git
```
Сделайте локальную копию вашей локальной конфигурации Continue:
```
mv ~ /.continue/config.ts ~ /.continue/config-backup.ts
```
Скопируйте предоставленный файл config-sample.ts вместо ~/.continue/config.ts :
```
cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts
```
или, если вы настроили свой config.ts , вручную добавьте код для загрузки модуля Watsonx и используйте Watsonx.addConfig() :
```
 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}
```
Скопируйте src/watsonxenv.ts.sample в src/watsonxenv.ts и обновите WatsonxEnv указав целевую конфигурацию:
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. При использовании watsonx SaaS:
  - Замените YOUR_WATSONX_URL на свою конечную точку watsonx SaaS, например https://us-south.ml.cloud.ibm.com для южного региона США.
  - Замените YOUR_WATSONX_APIKEY своим ключом API watsonx.
  - Замените YOUR_WATSONX_PROJECT_ID на идентификатор вашего проекта watsonx.
2. Если вы используете программное обеспечение Watsonx:
  1. Вариант 1 : использование аутентификации по имени пользователя и паролю:
    - Замените YOUR_WATSONX_URL на конечную точку программного обеспечения watsonx, например https://cpd-watsonx.apps.example.com .
    - Замените YOUR_WATSONX_USERNAME своим именем пользователя watsonx, например cpadmin .
    - Замените YOUR_WATSONX_PASSWORD на свой пароль watsonx.
    - Замените YOUR_WATSONX_PROJECT_ID на идентификатор вашего проекта watsonx.
  2. Вариант 2 : использование аутентификации по ключу API:
    - Замените YOUR_WATSONX_URL на конечную точку программного обеспечения watsonx, например https://cpd-watsonx.apps.example.com .
    - Замените YOUR_WATSONX_ZENAPIKEY своим ключом API watsonx Zen. Чтобы сгенерировать его:
      1. Войдите в веб-клиент CPD.
      2. На панели инструментов щелкните свой аватар.
      3. Нажмите Профиль и настройки .
      4. Нажмите Ключ API > Создать новый ключ .
      5. Нажмите «Создать» .
      6. Нажмите «Копировать» и сохраните ключ в безопасном месте. Вы не сможете восстановить этот ключ, если потеряете его.
      7. Создайте свой ZenApiKey, выполнив следующую команду: echo ":" | base64 , заменив вашим именем пользователя CPD и только что созданным API-ключом.
    - Замените YOUR_WATSONX_PROJECT_ID на идентификатор вашего проекта watsonx.
- - Примечание . Если вы используете экземпляр программного обеспечения watsonx с самозаверяющими/недоверенными сертификатами TLS, раскомментируйте следующие строки в файле ~/.continue/continue-watsonx/src/watsonx.ts чтобы обойти проверку сертификата SSL:
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. При необходимости обновите models , чтобы комментировать/раскомментировать/редактировать список моделей на основе LLM, развернутых в вашем экземпляре watsonx.
Наслаждаться!