คำจำกัดความ watsonx CustomLLM สำหรับดำเนินการต่อ

คำจำกัดความ CustomLLM อย่างง่ายเพื่อใช้ประโยชน์จาก IBM watsonx LLM ในส่วนขยายดำเนินการต่อ

หมายเหตุ : ตอนนี้ watsonx มีให้บริการแล้วในฐานะผู้ให้บริการในการดำเนินการต่อ!

watsonx พร้อม GIF ต่อ

คุณสมบัติ

สนับสนุน watsonx.ai SaaS
รองรับการสตรีมการตอบสนอง
สนับสนุน granite-34b-code-instruct
การหมุนเวียนโทเค็นผู้ถือ
เทมเพลตพรอมต์แบบกำหนดเองสำหรับหินแกรนิต
สนับสนุนซอฟต์แวร์ watsonx.ai
สนับสนุน LLM ที่ไม่ใช่หินแกรนิต
สร้างโมเดล Chat และ Completion แยกกัน

เริ่มต้น (~ 2 นาที)

ติดตั้งส่วนขยายดำเนินการต่อ (ทดสอบด้วยส่วนขยาย VSCode)
โคลนที่เก็บนี้ในไดเร็กทอรี ~/.continue/ ของคุณ
```
 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git
```
ทำสำเนาในเครื่องของการกำหนดค่าดำเนินการต่อในเครื่องของคุณ:
```
mv ~ /.continue/config.ts ~ /.continue/config-backup.ts
```
คัดลอก config-sample.ts ที่ให้มาเพื่อแทนที่ ~/.continue/config.ts :
```
cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts
```
หรือหากคุณปรับแต่ง config.ts ของคุณ ให้เพิ่มโค้ดด้วยตนเองเพื่อโหลดโมดูล Watsonx และใช้ Watsonx.addConfig() :
```
 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}
```
คัดลอก src/watsonxenv.ts.sample ไปยัง src/watsonxenv.ts และอัปเดต WatsonxEnv ด้วยการกำหนดค่าเป้าหมายของคุณ:
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. หากใช้ watsonx SaaS:
  - แทนที่ YOUR_WATSONX_URL ด้วยตำแหน่งข้อมูล watsonx SaaS ของคุณ เช่น https://us-south.ml.cloud.ibm.com สำหรับภูมิภาคทางใต้ของสหรัฐอเมริกา
  - แทนที่ YOUR_WATSONX_APIKEY ด้วยคีย์ watsonx API ของคุณ
  - แทนที่ YOUR_WATSONX_PROJECT_ID ด้วยรหัสโปรเจ็กต์ watsonx ของคุณ
2. หากใช้ซอฟต์แวร์ watsonx:
  1. ตัวเลือกที่ 1 : การใช้การตรวจสอบชื่อผู้ใช้/รหัสผ่าน:
    - แทนที่ YOUR_WATSONX_URL ด้วยตำแหน่งข้อมูลซอฟต์แวร์ watsonx ของคุณ เช่น https://cpd-watsonx.apps.example.com
    - แทนที่ YOUR_WATSONX_USERNAME ด้วยชื่อผู้ใช้ watsonx ของคุณ เช่น cpadmin
    - แทนที่ YOUR_WATSONX_PASSWORD ด้วยรหัสผ่าน watsonx ของคุณ
    - แทนที่ YOUR_WATSONX_PROJECT_ID ด้วยรหัสโปรเจ็กต์ watsonx ของคุณ
  2. ตัวเลือกที่ 2 : การใช้การรับรองความถูกต้องของคีย์ API:
    - แทนที่ YOUR_WATSONX_URL ด้วยตำแหน่งข้อมูลซอฟต์แวร์ watsonx ของคุณ เช่น https://cpd-watsonx.apps.example.com
    - แทนที่ YOUR_WATSONX_ZENAPIKEY ด้วยคีย์ watsonx Zen API ของคุณ วิธีสร้างมัน:
      1. ล็อกอินเข้าสู่เว็บไคลเอ็นต์ CPD
      2. จากแถบเครื่องมือ คลิกอวตารของคุณ
      3. คลิก โปรไฟล์และการตั้งค่า
      4. คลิก คีย์ API > สร้างคีย์ใหม่
      5. คลิก สร้าง
      6. คลิก คัดลอก และบันทึกคีย์ของคุณไว้ในที่ปลอดภัย คุณไม่สามารถกู้คืนรหัสนี้ได้หากคุณทำหาย
      7. สร้าง ZenApiKey ของคุณโดยการรันคำสั่งต่อไปนี้: echo ":" | base64 แทนที่ ด้วยชื่อผู้ใช้ CPD ของคุณและ ด้วยคีย์ API ที่คุณเพิ่งสร้างขึ้น
    - แทนที่ YOUR_WATSONX_PROJECT_ID ด้วยรหัสโปรเจ็กต์ watsonx ของคุณ
- - หมายเหตุ : หากใช้อินสแตนซ์ซอฟต์แวร์ watsonx กับใบรับรอง TLS ที่ลงนามเอง/ไม่น่าเชื่อถือ ให้ยกเลิกหมายเหตุบรรทัดต่อไปนี้ใน ~/.continue/continue-watsonx/src/watsonx.ts เพื่อเลี่ยงผ่านการตรวจสอบใบรับรอง SSL:
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. ทางเลือก อัปเดต models เพื่อแสดงความคิดเห็น/ไม่ใส่ข้อคิดเห็น/แก้ไขรายการโมเดลโดยอิงจาก LLM ที่ใช้งานในอินสแตนซ์ watsonx ของคุณ
สนุก!