vicuna.ps1

Vicuna용 자동 설치 스크립트(CPU 전용)

Vicuna-13B는 LLaMA 모델에서 미세 조정된 ShareGPT의 사용자 공유 대화에 대해 훈련된 무료 챗봇입니다. OpenAI ChatGPT, Google Bard, LLaMA 및 Stanford Alpaca와 같은 다른 모델보다 90% 이상의 성능이 뛰어났습니다.

• 이는 llama.cpp 라이브러리와 사전 훈련된 GGML Vicuna 모델을 사용하여 CPU(그래픽 카드 없이)에서 VICUNA를 설정하고 실행하는 프로세스를 자동화하는 PowerShell 스크립트입니다. 스크립트는 필요한 파일을 다운로드 및 추출하고, VICUNA를 실행하기 위한 배치 파일을 생성하고, 배치 파일을 실행하기 위한 바탕 화면 바로 가기를 생성합니다.

• Linux 및 macOS 스크립트는 현재 개발 중이며 가까운 시일 내에 제공될 예정입니다.

요구사항

• 윈도우 운영체제
• 파워셸

참고: 스크립트에는 최소 6GB RAM(느림/7b 모델)이 필요하며 32GB 이상(중간에서 빠른 속도/13b 모델)이 권장됩니다.

자동 설치(권장)

• 프로그램을 자동으로 설치하려면 다음 단계를 따르세요. (명령을 붙여넣으려면 마우스 오른쪽 버튼을 클릭하세요.)

1. Windows + R 누르고 powershell 입력한 후 Enter 키를 누르세요.
2. Set-ExecutionPolicy RemoteSigned -Scope CurrentUser 입력하고 Y를 누른 후 Enter 키를 누르세요.
3. irm bit.ly/vicuna_ps1 | iex 입력하고 Enter를 누르세요.

수동 설치(선택 사항)

1. vicuna.ps1 스크립트를 컴퓨터에 다운로드합니다.
2. PowerShell을 열고 스크립트가 저장된 디렉터리로 이동합니다.
3. Set-ExecutionPolicy RemoteSigned -Scope CurrentUser 실행하여 원격 스크립트를 허용합니다.
4. . .vicuna.ps1
5. 화면의 지시에 따라 설정 과정을 완료하세요.
6. 설정이 완료되면 바탕화면의 "VICUNA" 바로가기를 더블클릭하여 VICUNA를 실행하세요.

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• 이 공식은 컴퓨터 메모리(RAM)의 양을 입력으로 사용하여 프로그램 속도를 나타내는 숫자를 계산합니다. RAM이 많을수록 프로그램 실행 속도가 빨라집니다.

• 아래 ChatGPT 4 참고 사항:

계획된 기능

• macOS 및 Linux 운영 체제 지원
• 필수 종속성 및 라이브러리에 대한 자동 설정

문제 해결

스크립트를 실행하는 동안 문제가 발생하면 다음을 확인하세요.

• 컴퓨터가 최소 RAM 요구 사항을 충족하는지 확인하세요.
• PowerShell이 ​​관리자로 실행되고 있는지 확인하세요.
• 인터넷 연결이 안정적이고 다운로드를 차단하지 않는지 확인하세요.
• 바이러스 백신 소프트웨어가 다운로드나 스크립트를 차단하고 있지 않은지 확인하세요.

문제가 계속 발생하면 개발자에게 도움을 요청하세요.

크레딧

이는 UC Berkeley, CMU, Stanford, UC San Diego 및 MBZUAI를 포함한 여러 기관의 협력자들과의 공동 노력입니다.

학생(알파벳순): Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang

조언자(알파벳순): Joseph E. Gonzalez, Ion Stoica, Eric P. Xing LMSYS 4비트 양자화 모델을 제공한 각adea(Chad Ea-Nasir II)와 CPU에서 VICUNA 실행에 대한 튜토리얼을 제공한 SpreadSheetWarrior에게 특별히 감사드립니다.

승인

BAIR의 Xinyang Geng, Hao Liu, Eric Wallace에게 감사의 말씀을 전하고 싶습니다. 통찰력 있는 토론과 피드백을 주신 Stanford Alpaca 팀의 Xuecheng Li와 Tianyi Zhang. BAIR는 챗봇인 Koala에 대한 동시 노력에 대한 또 다른 블로그 게시물을 곧 올릴 예정입니다.