definisi watsonx CustomLLM untuk Lanjutkan

Definisi CustomLLM sederhana untuk memanfaatkan LLM IBM watsonx pada ekstensi Lanjutkan.

Catatan : watsonx sekarang tersedia secara asli sebagai penyedia di lanjutkan!

watsonx dengan Lanjutkan GIF

Fitur

Mendukung SaaS watsonx.ai.
Mendukung streaming respons.
Mendukung granite-34b-code-instruct .
Rotasi token pembawa.
Templat cepat khusus untuk Granit.
Mendukung Perangkat Lunak watsonx.ai.
Mendukung LLM non-granit.
Buat model Obrolan dan Penyelesaian terpisah.

Memulai (~ 2 menit)

Instal Lanjutkan ekstensi (diuji dengan ekstensi VSCode).

Kloning repositori ini di direktori ~/.continue/ Anda

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

Buat salinan lokal dari konfigurasi Lanjutkan lokal Anda:

mv ~ /.continue/config.ts ~ /.continue/config-backup.ts

Salin config-sample.ts yang disediakan untuk menggantikan ~/.continue/config.ts :

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

atau, jika Anda telah menyesuaikan config.ts , tambahkan kode secara manual untuk memuat modul Watsonx dan gunakan Watsonx.addConfig() :

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

Salin src/watsonxenv.ts.sample ke src/watsonxenv.ts dan perbarui WatsonxEnv dengan konfigurasi target Anda:
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. Jika menggunakan SaaS watsonx:
  - Ganti YOUR_WATSONX_URL dengan titik akhir SaaS watsonx Anda, misalnya https://us-south.ml.cloud.ibm.com untuk wilayah AS Selatan.
  - Ganti YOUR_WATSONX_APIKEY dengan Kunci API watsonx Anda.
  - Ganti YOUR_WATSONX_PROJECT_ID dengan ID proyek watsonx Anda.
2. Jika menggunakan perangkat lunak watsonx:
  1. Opsi 1 : menggunakan otentikasi nama pengguna/kata sandi:
    - Ganti YOUR_WATSONX_URL dengan titik akhir perangkat lunak watsonx Anda, misalnya https://cpd-watsonx.apps.example.com .
    - Ganti YOUR_WATSONX_USERNAME dengan nama pengguna watsonx Anda, misalnya cpadmin .
    - Ganti YOUR_WATSONX_PASSWORD dengan kata sandi watsonx Anda.
    - Ganti YOUR_WATSONX_PROJECT_ID dengan ID proyek watsonx Anda.
  2. Opsi 2 : menggunakan otentikasi Kunci API:
    - Ganti YOUR_WATSONX_URL dengan titik akhir perangkat lunak watsonx Anda, misalnya https://cpd-watsonx.apps.example.com .
    - Ganti YOUR_WATSONX_ZENAPIKEY dengan Kunci API Zen watsonx Anda. Untuk menghasilkannya:
      1. Masuk ke klien web CPD.
      2. Dari toolbar, klik avatar Anda.
      3. Klik Profil dan pengaturan .
      4. Klik Kunci API > Hasilkan kunci baru .
      5. Klik Hasilkan .
      6. Klik Salin dan simpan kunci Anda di tempat yang aman. Anda tidak dapat memulihkan kunci ini jika hilang.
      7. Hasilkan ZenApiKey Anda dengan menjalankan perintah berikut: echo ":" | base64 , ganti dengan nama pengguna CPD Anda dan dengan Kunci API yang baru saja Anda buat.
    - Ganti YOUR_WATSONX_PROJECT_ID dengan ID proyek watsonx Anda.
- - Catatan : jika menggunakan perangkat lunak watsonx dengan sertifikat TLS yang ditandatangani sendiri/tidak tepercaya, hapus komentar pada baris berikut di ~/.continue/continue-watsonx/src/watsonx.ts untuk melewati verifikasi sertifikat SSL:
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. Secara opsional , perbarui models ke komentar/batalkan komentar/edit daftar model berdasarkan LLM yang diterapkan di instans watsonx Anda.
Menikmati!