계속을 위한 watsonx CustomLLM 정의

Continue 확장에서 IBM watsonx LLM을 활용하기 위한 간단한 CustomLLM 정의입니다.

참고 : 이제 watsonx를 계속해서 제공자로 기본적으로 사용할 수 있습니다!

왓슨스 with Continue GIF

특징

watsonx.ai SaaS를 지원합니다.
응답 스트리밍을 지원합니다.
granite-34b-code-instruct 지원합니다.
무기명 토큰 순환.
Granite용 사용자 정의 프롬프트 템플릿입니다.
watsonx.ai 소프트웨어를 지원합니다.
비화강암 LLM을 지원합니다.
별도의 채팅 및 완료 모델을 만듭니다.

시작하기(~2분)

계속 확장을 설치합니다(VSCode 확장으로 테스트됨).

~/.continue/ 디렉터리에 이 저장소를 복제하세요.

 cd ~ /.continue/
git clone https://github.com/NoeSamaille/continue-watsonx.git

로컬 계속 구성의 로컬 복사본을 만듭니다.

mv ~ /.continue/config.ts ~ /.continue/config-backup.ts

제공된 config-sample.ts 복사하여 ~/.continue/config.ts 대체합니다.

cp ~ /.continue/continue-watsonx/src/config-sample.ts ~ /.continue/config.ts

또는 config.ts 사용자 정의한 경우 Watsonx 모듈을 로드하고 Watsonx.addConfig() 사용하는 코드를 수동으로 추가하세요.

 import { watsonx_modifyConfig } from "./continue-watsonx/src/watsonx" ; 
export function modifyConfig ( config : Config ) : Config {
    return watsonx_modifyConfig ( config ) ;
}

src/watsonxenv.ts.sample src/watsonxenv.ts 에 복사하고 WatsonxEnv 대상 구성으로 업데이트합니다.
```
cp ~ /.continue/continue-watsonx/src/watsonxenv.ts.sample ~ /.continue/continue-watsonx/src/watsonxenv.ts
```
1. watsonx SaaS를 사용하는 경우:
  - YOUR_WATSONX_URL watsonx SaaS 엔드포인트(예: 미국 남부 지역의 경우 https://us-south.ml.cloud.ibm.com 로 바꾸십시오.
  - YOUR_WATSONX_APIKEY watsonx API 키로 바꾸세요.
  - YOUR_WATSONX_PROJECT_ID watsonx 프로젝트 ID로 바꾸세요.
2. watsonx 소프트웨어를 사용하는 경우:
  1. 옵션 1 : 사용자 이름/비밀번호 인증 사용:
    - YOUR_WATSONX_URL watsonx 소프트웨어 엔드포인트(예: https://cpd-watsonx.apps.example.com 로 바꾸세요.
    - YOUR_WATSONX_USERNAME watsonx 사용자 이름(예: cpadmin 으로 바꾸세요.
    - YOUR_WATSONX_PASSWORD watsonx 비밀번호로 바꾸세요.
    - YOUR_WATSONX_PROJECT_ID watsonx 프로젝트 ID로 바꾸세요.
  2. 옵션 2 : API 키 인증 사용:
    - YOUR_WATSONX_URL watsonx 소프트웨어 엔드포인트(예: https://cpd-watsonx.apps.example.com 로 바꾸세요.
    - YOUR_WATSONX_ZENAPIKEY watsonx Zen API 키로 바꾸세요. 생성하려면 다음을 수행하십시오.
      1. CPD 웹 클라이언트에 로그인합니다.
      2. 도구 모음에서 아바타를 클릭합니다.
      3. 프로필 및 설정 을 클릭합니다.
      4. API 키 > 새 키 생성을 클릭합니다.
      5. 생성을 클릭합니다.
      6. 복사를 클릭하고 키를 안전한 곳에 저장하세요. 이 키를 분실하면 복구할 수 없습니다.
      7. 다음 명령을 실행하여 ZenApiKey를 생성하십시오. echo ":" | base64 , CPD 사용자 이름으로 바꾸고 방금 생성한 API 키로 바꿉니다.
    - YOUR_WATSONX_PROJECT_ID watsonx 프로젝트 ID로 바꾸세요.
- - 참고 : 자체 서명/신뢰할 수 없는 TLS 인증서와 함께 watsonx 소프트웨어 인스턴스를 사용하는 경우 ~/.continue/continue-watsonx/src/watsonx.ts 에서 다음 줄의 주석 처리를 제거하여 SSL 인증서 확인을 우회하세요.
```
 declare var process : {
    env : {
        NODE_TLS_REJECT_UNAUTHORIZED : any
    }
}
process . env [ "NODE_TLS_REJECT_UNAUTHORIZED" ] = 0 ;
```
1. 선택적으로 , models 업데이트하여 watsonx 인스턴스에 배포된 LLM을 기반으로 모델 목록에 주석을 달거나 주석 처리를 취소하거나 편집할 수 있습니다.
즐기다!