KoboldAI Client
Looking for our latest KoboldAI product?
KoboldAI는 KoboldAI 소프트웨어의 이름을 따서 명명되었으며 현재 가장 인기 있는 최신 프로그램은 KoboldCpp입니다.
이 메시지를 읽고 있다면 귀하는 원래 KoboldAI 소프트웨어 페이지에 있는 것입니다.
GGUF 모델 및 최신 API 기능과 함께 KoboldCpp를 사용하는 것을 선호하시나요? https://koboldai.org/cpp를 방문하실 수 있습니다.
Huggingface/Exllama(safetensors/pytorch) 플랫폼을 사용하는 Llama 기반 모델과 같은 최신 모델에 대한 지원이 필요하십니까? https://koboldai.org/united에서 KoboldAI의 개발 버전 KoboldAI United를 확인하세요.
이는 여러 로컬 및 원격 AI 모델을 사용하여 AI 지원 쓰기를 위한 브라우저 기반 프런트 엔드입니다. 메모리, 작성자 메모, 세계 정보, 저장 및 로드, 조정 가능한 AI 설정, 서식 지정 옵션, 기존 AI 던전 모험 가져오기 기능을 포함한 표준 도구 배열을 제공합니다. 어드벤처 모드를 켜고 AI Dungeon Unleashed와 같은 게임을 플레이할 수도 있습니다.
스토리는 소설, 텍스트 어드벤처 게임처럼 플레이할 수 있으며, 여러 게임플레이 스타일 간에 쉽게 전환할 수 있는 챗봇으로 사용할 수도 있습니다. 이로 인해 KoboldAI는 글쓰기 보조자이자 게임이자 훨씬 더 많은 플랫폼이 됩니다. 플레이 방식과 AI의 성능은 사용하기로 결정한 모델이나 서비스에 따라 달라집니다. Google Colab의 무료 빠른 기능, 고급 그래픽 카드, API 키가 있는 온라인 서비스(OpenAI 또는 Inferkit 등)를 사용하고 싶거나 CPU에서 더 느리게 실행하려는 경우에도 마찬가지입니다. 자신에게 맞는 KoboldAI 사용 방법을 찾을 수 있을 것입니다.
기본적으로 KoboldAI는 쓰기에 최적화된 일반 모드에서 실행되지만 올바른 모델을 사용하면 문제 없이 AI 던전처럼 플레이할 수 있습니다. 설정에서 이 기능을 활성화하고 자신만의 프롬프트를 가져오거나, 무작위 프롬프트를 생성해 보거나 /aids/Prompts에서 사용 가능한 프롬프트 중 하나를 다운로드할 수 있습니다.
게임 플레이는 AI Dungeon의 게임 플레이와 약간 다를 것입니다. 왜냐하면 우리는 Unleashed 포크 유형을 채택하여 장면 뒤에서 문장을 자동으로 조정하지 않기 때문에 모든 캐릭터를 완벽하게 제어할 수 있기 때문입니다. 즉, 자신이 아닌 캐릭터를 더욱 안정적으로 제어할 수 있습니다.
따라서 입력해야 하는 항목이 약간 다릅니다. AI Dungeon에서는 take the Sword를 입력하고 KoboldAI에서는 You take the Sword 와 같은 문장처럼 입력하며 이는 대신 You라는 단어를 사용하는 것이 가장 좋습니다. 나.
간단히 말하면 다음과 같이 입력하세요. "먼저 물품을 모아야 할 것 같습니다."라고 말합니다.
인용문을 입력하는 것만으로도 작동할 수 있지만 명령에서 누가 무엇을 하는지 지정할 때 AI가 가장 좋습니다.
친구와 함께 이 작업을 수행하려면 주인공을 당신으로 사용하고 모험 훈련을 받은 모델로 플레이하는 경우 다른 캐릭터를 이름으로 사용하는 것이 좋습니다. 이 모델은 이야기 속에 당신이 있다고 가정합니다. 이 모드는 일반적으로 Novel 모델에서 잘 수행되지 않습니다. 왜냐하면 AI와 교대로 진행하는 일반 스토리 작성에 가장 잘 사용되는 입력을 처리하는 방법을 모르기 때문입니다.
KoboldAI를 글쓰기 보조 도구로 사용하려면 소설에 최적화된 모델을 사용하는 일반 모드에서 수행하는 것이 가장 좋습니다. 이 모델들은 당신 캐릭터가 있다는 가정을 하지 않고 소설 같은 글쓰기에 중점을 둡니다. 작성 시 이는 종종 Adventure 또는 Generic 모델보다 더 나은 결과를 제공합니다. 즉, 스토리에 대한 좋은 소개를 제공하면 작성하려는 내용에 대해 더 구체적인 모델을 사용할 수 없는 경우 13B와 같은 대형 일반 모델을 사용할 수 있습니다. SFW 모델을 사용할 수 없는 경우 SFW 스토리를 위한 NSFW Novel 모델과 같이 원하는 작업에 국한되지 않는 모델을 사용해 볼 수도 있습니다. 이는 편향으로 인해 모델을 더 자주 수정해야 하지만 모델이 주제에 충분히 익숙하다면 여전히 좋은 결과를 생성할 수 있음을 의미합니다.
챗봇 모드에서는 적합한 모델을 챗봇으로 사용할 수 있습니다. 이 모드는 자동으로 문장 시작 부분에 귀하의 이름을 추가하고 AI가 귀하처럼 말하는 것을 방지합니다. 올바르게 사용하려면 스토리 오프닝을 다음 형식으로 두 문자로 작성해야 합니다(본인의 텍스트를 사용할 수 있음).
Bot : Hey!
You : Hey Boyname, how have you been?
Bot : Been good! How about you?
You : Been great to, excited to try out KoboldAI
Bot : KoboldAI is really fun!
You : For sure! What is your favorite game?
자신의 입력을 마지막 입력으로 두는 것이 좋습니다. 특히 처음에는 AI가 이름을 섞을 가능성이 있습니다. 이 경우 다시 시도하거나 수동으로 이름을 수정하십시오. 이 동작은 채팅이 진행됨에 따라 개선됩니다. 일부 모델은 봇에 정의한 이름과 유사한 다른 이름에 더 익숙한 경우 이름을 바꿀 수 있습니다. 이 경우 가끔 수동으로 수정하거나 AI가 더 좋아하는 챗봇 이름을 선택할 수 있습니다.
이 모드는 일반 모델 또는 이를 위해 특별히 설계된 챗봇 모델에서 가장 잘 작동합니다. AvrilAI 모델과 같은 일부 모델은 대신 Adventure 모드에서 사용하도록 설계되었으며 위의 형식을 따르지 않습니다. 이러한 모델은 일반적으로 기본적으로 모험 모드가 활성화되어 배송되므로 챗봇 모드로 전환하면 안 됩니다.
Novel 또는 Adventure 모델은 이 기능에 권장되지 않지만 여전히 작동할 수 있지만 대화 형식에서 빠르게 벗어날 수 있습니다.
강력한 컴퓨터에서 온라인으로 KoboldAI를 무료로 플레이하고 싶다면 Google Colaboraty를 사용할 수 있습니다. 우리는 TPU와 GPU 에디션의 두 가지 에디션을 제공하며 다양한 모델을 사용할 수 있습니다. 이는 전적으로 Google 서버에서 실행되며 스토리를 저장하기로 선택한 경우 저장 내용을 Google 드라이브에 자동으로 업로드합니다(또는 저장 내용이 Google 드라이브에 저장되지 않도록 대신 다운로드하도록 선택할 수도 있습니다). 사용 방법에 대한 자세한 지침은 Colab 하단에 있습니다.
각 에디션에는 다양한 모델이 포함되어 있으며 실행하는 데 필요한 하드웨어가 다릅니다. 즉, TPU나 GPU를 구할 수 없는 경우에도 다른 버전을 사용할 수 있습니다. 사용할 수 있는 모델은 에디션 아래에 나열되어 있습니다. Colab을 열려면 버전 이름이 표시된 큰 링크를 클릭하세요.
| 모델 | 스타일 | 설명 |
|---|---|---|
| Mr Seeker의 네리스 | 소설/모험 | Nerys는 Pike(최신 Janeway)를 기반으로 한 하이브리드 모델입니다. Pike 데이터세트 위에 Light Novel, Adventure 모드 지원 및 약간의 Shinen이 혼합되어 있습니다. 최종 결과는 SFW 소설 쓰기에 크게 편향된 매우 다양한 모델이지만 소설 교육을 뛰어넘어 훌륭한 모험 모델이 될 수 있는 모델입니다. 어드벤처 모드는 2인칭 시점에서 플레이하는 것이 가장 좋지만, 1인칭이나 3인칭에서도 플레이할 수 있습니다. 소설 쓰기는 1인칭이나 3인칭이 가장 잘 할 수 있습니다. |
| Mr Seeker의 에레보스 | NSFW | Erebus는 우리 커뮤니티의 주력 NSFW 모델로, Literotica, Shinen 및 Nerys의 에로틱 소설을 포함하는 여러 대규모 데이터 세트의 조합이며 철저한 태그 지원 기능을 갖추고 있어 대다수의 에로틱한 글쓰기 스타일을 포괄합니다. 이 모델은 내용과 스타일 측면에서 Lit 및 Shinen 모델을 모두 대체할 수 있으며 최고의 NSFW 모델 중 하나로 호평을 받았습니다. 이 모델을 상업용 또는 연구 외 용도로 사용하려는 경우 제한적인 OPT 라이센스가 적용되지 않는 20B 버전을 선택하는 것이 좋습니다. |
| Mr Seeker의 Janeway | 소설 | Janeway는 새로운 전자책 컬렉션과 결합된 Picard의 데이터세트로 생성된 모델입니다. 이 모델은 Picard보다 20% 더 많은 콘텐츠에 대해 학습되었으며 다양한 장르의 문학에 대해 학습되었습니다. 모델은 주로 SFW에 초점을 맞추고 있지만 로맨틱 장면에는 어느 정도 과도한 노출이 포함될 수 있습니다. |
| Mr Seeker의 Shinen | NSFW | Shinen은 다양한 꼬임이 포함된 Sexstories 웹사이트의 다양한 이야기에 대해 훈련된 NSFW 모델입니다. 더 크고 더 나은 Erebus 모델로 병합되었습니다. |
| VE_FORBRYDERNE의 타래 | 모험 | Skein은 Adventure 모드가 활성화된 상태에서 가장 잘 사용되며 Adventure 모델보다 4배 더 큰 모험 데이터 세트로 구성되어 텍스트 어드벤처 게임에 탁월합니다. 게다가 지식과 글쓰기 능력을 한층 더 넓히는 라이트 노벨 교육도 구성되어 있습니다. Novel을 작성하려는 경우 You 필터 편향과 함께 사용할 수 있지만 전용 Novel 모델이 이 작업에 더 나은 성능을 발휘할 수 있습니다. |
| VE_FORBRYDERNE의 모험 | 모험 | Adventure는 AI Dungeon의 동작을 모방하도록 설계된 6B 모델입니다. 이는 모험 모드 전용이며 AI Dungeon 플레이어가 좋아하는 서사적이고 엉뚱한 모험으로 여러분을 안내할 수 있습니다. 또한 매우 유사한 데이터로 훈련되었기 때문에 AI Dungeon의 많은 비유를 특징으로 합니다. 2인칭(당신)으로 사용해야 합니다. |
| Haru의 조명(V2) | NSFW | Lit는 태그 지정 지원과 함께 대규모 Literotica 스토리와 고품질 소설 세트에 대해 Haru가 교육한 훌륭한 NSFW 모델입니다. NSFW 스토리를 위한 고품질 모델을 만듭니다. 이 모델은 독점적으로 새로운 모델이며 3인칭으로 사용하는 것이 가장 좋습니다. |
| Metaseq의 OPT | 일반적인 | OPT는 콘텐츠에 관한 한 최고의 기본 모델 중 하나로 간주되며, 그 동작은 GPT-Neo와 Fairseq Dense의 장점을 모두 갖추고 있습니다. Neo와 비교하여 중복 및 불필요한 내용은 생략하고, Fairseq Dense 모델과 유사하게 추가 문헌을 추가했습니다. 그러나 Fairseq Dense 모델에는 OPT가 보유한 광범위한 데이터가 부족합니다. OPT의 가장 큰 단점은 라이센스인데, 이는 상업적인 사용이나 연구 목적 이외의 사용을 금지합니다. |
| EleutherAI의 Neo(X) | 일반적인 | NeoX는 현재 사용 가능한 가장 큰 EleutherAI 모델로, 특별히 교육을 받지 않은 일반 모델이므로 다양한 쓰기, Q&A 및 코딩 작업을 수행할 수 있습니다. 20B의 성능은 13B 모델과 밀접하게 비교되며 특히 영어 작문이 포함되지 않은 작업이 있는 경우 두 모델을 모두 시도해 볼 가치가 있습니다. 해당 동작은 동일한 데이터 세트에 대해 훈련되었지만 반복 페널티에 대한 민감도가 더 높고 더 많은 지식을 가지고 있기 때문에 GPT-J-6B 모델과 유사합니다. |
| Fairseq 밀도 | 일반적인 | Facebook 연구원들에 의해 훈련된 이 모델은 Fairseq 내의 MOE 연구 프로젝트에서 유래되었습니다. 이 특정 버전은 KoboldAI에서 사용하기 위해 변환되었습니다. EleutherAI의 더 큰 20B 모델과 동등한 것으로 알려져 있으며 대중 문화 및 언어 작업에 더 나은 것으로 간주됩니다. 모델은 새 줄(입력)을 본 적이 없기 때문에 서식 지정 및 단락 지정 시 성능이 저하될 수 있습니다. 다른 모델과 비교하여 데이터 세트는 주로 문헌에 초점을 맞추고 다른 내용은 거의 포함하지 않습니다. |
| EleutherAI의 GPT-J-6B | 일반적인 | 이 모델은 대부분의 다른 6B 모델의 기초 역할을 합니다(대신 일부는 Fairseq Dense를 기반으로 함). Pile에 대한 교육을 받고 특정 항목에 치우치지 않아 글쓰기, Q&A, 코딩 작업 등 다양한 작업에 적합합니다. 더 큰 일반 모델이나 미세 조정된 모델을 사용하면 더 나은 결과를 얻을 수 있습니다. |
| 모델 | 스타일 | 설명 |
|---|---|---|
| Mr Seeker의 네리스 | 소설/모험 | Nerys는 Pike(최신 Janeway)를 기반으로 한 하이브리드 모델입니다. Pike 데이터세트 위에 Light Novel, Adventure 모드 지원 및 약간의 Shinen이 혼합되어 있습니다. 최종 결과는 SFW 소설 쓰기에 크게 편향된 매우 다양한 모델이지만 소설 교육을 뛰어넘어 훌륭한 모험 모델이 될 수 있는 모델입니다. 어드벤처 모드는 2인칭 시점에서 플레이하는 것이 가장 좋지만, 1인칭이나 3인칭에서도 플레이할 수 있습니다. 소설 쓰기는 1인칭이나 3인칭이 가장 잘 할 수 있습니다. |
| KoboldAI의 타이파이터 13B | 잡종 | Tiefighter 13B는 매우 다재다능한 픽션 하이브리드입니다. 글쓰기, 채팅, 어드벤처 게임 플레이가 가능하며 일반적인 지시에 응답할 수도 있습니다(허구적 특성으로 인해 이 모델을 실제로 사용하는 것은 권장하지 않습니다). 이것은 훌륭한 시작 모델입니다. 최상의 결과를 얻으려면 텍스트 모험이 되기를 원하지 않는 한 채팅에서 2인칭 쓰기를 사용하지 마십시오. |
| Mr Seeker의 Janeway | 소설 | Janeway는 새로운 전자책 컬렉션과 결합된 Picard의 데이터세트로 생성된 모델입니다. 이 모델은 Picard보다 20% 더 많은 콘텐츠에 대해 학습되었으며 다양한 장르의 문학에 대해 학습되었습니다. 모델은 주로 SFW에 초점을 맞추고 있지만 로맨틱 장면에는 어느 정도 과도한 노출이 포함될 수 있습니다. |
| Mr Seeker의 Picard | 소설 | Picard는 Neo 2.7B를 기반으로 SFW 소설용으로 훈련된 모델입니다. NSFW 편견 없이 소설 스타일 글쓰기에 중점을 두고 있습니다. 이름에서 공상과학 모델을 암시하는 반면, 이 모델은 다양한 장르의 소설용으로 설계되었습니다. KoboldAI의 일반 모드에서 사용하기 위한 것입니다. |
| 멜라스타초의 AID | 모험 | Adventure 2.7B라고도 알려진 이 제품은 AI Dungeon Classic 모델의 복제품이며 AI Dungeon Classic 플레이어가 좋아하는 서사시적인 엉뚱한 모험으로 가장 잘 알려져 있습니다. |
| Metaseq의 OPT | 일반적인 | OPT는 콘텐츠에 관한 한 최고의 기본 모델 중 하나로 간주되며, 그 동작은 GPT-Neo와 Fairseq Dense의 장점을 모두 갖추고 있습니다. Neo와 비교하여 중복 및 불필요한 내용은 생략하고 Fairseq Dense 모델과 유사하게 추가 문헌을 추가했습니다. 그러나 Fairseq Dense 모델에는 OPT가 보유한 광범위한 데이터가 부족합니다. OPT의 가장 큰 단점은 라이센스인데, 이는 상업적인 사용이나 연구 목적 이외의 사용을 금지합니다. |
| Fairseq 밀도 | 일반적인 | Facebook 연구원들에 의해 훈련된 이 모델은 Fairseq 내의 MOE 연구 프로젝트에서 유래되었습니다. 이 특정 버전은 KoboldAI에서 사용하기 위해 변환되었습니다. EleutherAI의 더 큰 모델과 동등한 것으로 알려져 있으며 대중 문화 및 언어 작업에 더 나은 것으로 간주됩니다. 모델은 새 줄(입력)을 본 적이 없기 때문에 서식 지정 및 단락 지정 시 성능이 저하될 수 있습니다. 다른 모델과 비교하여 데이터 세트는 주로 문헌에 초점을 맞추고 다른 내용은 거의 포함하지 않습니다. |
| Gryphe의 MythoMax 13B | 역할극 | MythoMix의 개선되고 잠재적으로 완벽해진 변형인 MythoLogic-L2와 Huginn은 고도로 실험적인 텐서 유형 병합 기술을 사용하여 병합됩니다.1 |
| KoboldAI의 홀로맥스 13B | 모험 | 이는 MrSeeker의 KoboldAI Holodeck 모델(40%)을 사용하여 Gryphe(60%)의 호평을 받은 MythoMax 모델에 대한 확장 병합입니다. 이 모델의 목표는 MythoMax 모델의 바람직한 특성을 최대한 유지하면서 스토리 작성 기능을 향상시키는 것입니다(채팅 응답 길이를 제한합니다). |
| Jon Durbin의 Airoboros 13B | 일반적인 | 이는 airoboros⁵에서 생성된 합성 명령을 사용하여 명령을 미세 조정한 라마-2 모델입니다. |
| Undi의 에머히스트 13B | 역할극 | 더 나은 결과를 얻기 위해 BlockMerge_Gradient를 사용하려는 시도입니다. 또한 LimaRP v3이 사용되었습니다. |
| 엘리나스의 크로노스 13B | 일반적인 | 이 모델은 주로 채팅, 역할극 및 스토리 작성에 중점을 두고 있지만 간단한 추론 및 코딩과 같은 다른 작업도 수행할 수 있습니다. Chronos는 학습된 인간의 입력으로 인해 일관된 텍스트로 매우 긴 출력을 생성합니다. |
| Henk717의 스프링 드래곤 | 모험 | 이 모델은 AI Dungeon 2 Dragon 모델을 재현하려는 시도입니다. 이를 달성하기 위해 온라인 서비스 이전에 원본 AI Dungeon 2 GitHub 릴리스와 함께 번들로 제공되었던 "text_adventures.txt" 데이터 세트가 사용되었습니다. Dragon 모델을 생성하는 데 동일한 데이터 세트 파일이 사용되었다는 점은 주목할 가치가 있습니다. 여기서 Dragon은 2020년의 GPT-3 175B Davinci 모델입니다. |
| KoboldAI의 홀로데크 | 모험 | LLAMA2 13B-Holodeck은 Meta의 llama 2 모델을 사용하여 만든 미세 조정입니다. 훈련 데이터에는 다양한 장르의 약 3000권의 전자책이 포함되어 있습니다. 데이터세트의 대부분 부분은 다음 텍스트를 사용하여 앞에 추가되었습니다. [장르: , |
| EleutherAI의 Neo | 일반적인 | 이는 다른 모든 2.7B 모델의 기본 모델이며, 블로그 기사 작성이나 프로그래밍과 같이 사용할 수 있는 다른 모델이 없는 사용 사례가 있을 때 가장 적합합니다. 또한 소프트 프롬프트가 다른 모델에서 다루는 주제에 관한 것이 아닌 경우 일부 소프트 프롬프트를 경험하기 위한 좋은 기반이 될 수도 있습니다. |
| 다양한 2.7b 모델 | GPU colab에서는 다양한 소형 모델을 로드할 수도 있습니다. |
| 유형 | 설명 |
|---|---|
| 소설 | 일반 스토리 작성의 경우 어드벤처 모드나 기타 특수 모드와 호환되지 않습니다. |
| NSFW | 모델이 NSFW 콘텐츠에 강하게 편향되어 있으며 어린이, 작업 환경 또는 라이브 스트리밍에 적합하지 않음을 나타냅니다. 대부분의 NSFW 모델은 본질적으로 Novel 모델이기도 합니다. |
| 모험 | 이 모델은 텍스트 어드벤처 게임처럼 KoboldAI를 플레이하려는 사람들에게 탁월하며 어드벤처 모드가 활성화된 상태에서 사용하도록 고안되었습니다. 소설형 모델로 사용하고 싶은 경우에도 항상 어드벤처 모드를 켜고 스토리로 설정해야 합니다. 이러한 모델은 일반적으로 '당신'이라는 단어 사용에 대한 강한 편견을 가지고 있으며 모험 모드를 활성화하지 않으면 스토리 흐름을 깨고 사용자를 대신하여 작업을 작성합니다. |
| 잡종 | 하이브리드 모델은 다양한 유형을 혼합한 것입니다. 예를 들어 소설 스토리와 모험 스토리 모두에 대해 교육을 받았습니다. 이러한 모델은 다양한 playType 및 모드에 사용할 수 있는 매우 다양한 모델이지만, 사용법에 따라 Adventure Mode(어드벤처 모드) 또는 Youbias(사용자 스크립트에서)를 활성화해야 할 수도 있습니다. |
| 일반적인 | 일반 모델은 일반적으로 다른 작업 및 모델의 기초로 사용되는 특정 항목에 대해 학습되지 않습니다. 다른 모델이 할 수 있는 모든 작업을 수행할 수 있지만 제대로 작동하려면 훨씬 더 많은 손을 잡아야 합니다. 일반 모델은 특정 모델이 없는 작업이나 원시 형식의 소프트 프롬프트를 경험하는 데 이상적인 기반입니다. |
KoboldAI에는 컴퓨터에 설치해야 하는 종속성이 많이 있습니다. 안타깝게도 Python에서는 모든 사람에게 적합한 지침을 제공하기가 쉽지 않습니다. 아래 지침은 대부분의 컴퓨터에서 작동하지만 여러 버전의 Python이 설치되어 있으면 충돌이 발생할 수 있습니다.
KoboldAI는 우리 github의 롤링 릴리스이며, 여러분이 보는 코드도 게임입니다. 페이지 상단의 녹색 코드 버튼을 클릭하고 ZIP 다운로드를 클릭하여 소프트웨어를 다운로드하거나 대신 git clone 명령을 사용할 수 있습니다. 그런 다음 Windows에서는 install_requirements.bat를 실행해야 하며(오류를 방지하려면 관리자 모드를 사용하는 것이 좋습니다), 완료되면 또는 Linux를 사용하는 경우 play.bat/sh 또는 Remote-play.bat/sh를 실행해야 합니다. 그것을 실행합니다.
Windows 사용자를 위한 가장 쉬운 방법은 아래 오프라인 설치 프로그램을 사용하는 것입니다.
KoboldAI는 이제 자동으로 종속성을 구성하고 시작하며 모든 것이 자체 conda 런타임에 포함되므로 시스템이 복잡해지지 않습니다. 파일은 런타임 하위 폴더에 위치합니다. 언제든지 런타임을 강제로 다시 설치하려면 install_requirements.sh 파일을 사용하면 됩니다. 수동으로 실행할 수는 있지만 반드시 필요한 것은 아닙니다.
기존 소프트웨어 구성과 사용자 시스템 간의 큰 차이로 인해 수동 설치에 대한 단계별 안내를 제공할 수 없습니다.
KoboldAI를 수동으로 설치하려면 다음 단계 중 하나를 수동으로 수행하기 위해 Python/conda 패키지 관리 지식이 필요합니다.
AMD GPU는 컴퓨팅 지원이 형편없지만 현재 Windows에서는 작동하지 않으며 일부 Linux GPU에서만 작동합니다. 여기에서 호환되는 GPU 목록을 찾을 수 있습니다. 목록에 없는 GPU는 KoboldAI와 작동하지 않을 것이 보장되며 필요한 ROCm 버전과 호환되지 않는 GPU에 대해서는 적절한 지원을 제공할 수 없습니다. 먼저 배포 가이드를 사용하여 Linux 시스템에 ROCm을 설치했는지 확인한 후 위의 일반적인 Linux 지침을 따를 수 있습니다.
Python이 종속성을 처리하는 방식에는 문제가 발생할 수 있는 여러 가지가 있습니다. 불행히도 모든 시나리오에 대한 직접적인 단계별 솔루션은 없지만 시도할 수 있는 몇 가지 일반적인 솔루션이 있습니다.
이는 항상 다운로드/설치 실패이거나 다른 Python 버전과의 충돌입니다. 이는 경로에 공백이 있는 위치에 KoboldAI를 배치하면서 사용자가 설치 중에 하위 폴더 옵션을 선택한 경우 매우 일반적입니다. 바이러스 백신이 설치를 샌드박스하거나 다른 방법으로 다운로드를 방해하는 경우, 디스크 공간이 부족한 시스템 또는 운영 체제가 긴 파일 경로에 대해 구성되지 않은 경우(설치 프로그램은 Windows 10 이상에서 관리자 권한으로 실행하는 경우 이 작업을 수행합니다. Windows 10은 당사 설치 프로그램에서 지원되지 않습니다.)
설치가 실패할 수 있는 또 다른 이유는 컴퓨터에 충돌하는 Python 설치가 있는 경우 Windows 키 + R을 누르고 실행 대화 상자에 %appdata%를 입력하면 Python이 일부 시스템에 종속성을 설치하는 폴더가 열리는 것입니다. 이 위치에 Python 폴더가 있으면 이 폴더의 이름을 바꾸고 설치 프로그램을 다시 실행해 보세요. 이제 더 이상 기존 종속성에 문제가 발생하지 않습니다. 게임을 시도해보고 잘 작동하는지 확인하세요. 그렇다면 폴더 이름을 다시 변경하여 폴더가 계속 작동하는지 확인할 수 있습니다.
설치가 실패할 수 있는 세 번째 이유는 다른 이유로 시스템에 conda/mamba가 있는 경우입니다. 이 경우 필요하지 않으면 기존 python/conda 설치를 제거하고 설치 프로그램을 다시 테스트하는 것이 좋습니다. 또는 번들 환경 파일과 함께 conda 자체를 사용하여 런타임을 수동으로 생성할 수 있습니다. 수동 경로로 이동하는 경우 절대로 play.bat를 사용해서는 안 되며 대신 aiserver.py를 직접 실행해야 한다는 점을 명심하세요 .
일반적으로 시스템에 설치된 Python 버전이 적을수록 올바르게 설치될 확률이 높아집니다. 우리는 설치 프로그램에서 이러한 설치 충돌을 완화하기 위해 지속적으로 노력하고 있지만 일부 사용자의 경우 아직 모든 충돌을 피할 수는 없습니다.
GPU를 찾을 수 없음 오류는 적합한 Nvidia GPU가 없거나(KoboldAI를 플레이하려면 컴퓨팅 기능 5.0 이상이 필요함) 두 가지 중 하나로 인해 발생할 수 있습니다. Nvidia GPU는 KoboldAI에서 지원되지만 최신 버전의 CUDA에서는 지원되지 않습니다. Nvidia GPU가 아직 최신 버전의 CUDA에서 지원되지 않거나 위에서 언급한 것과 같은 종속성 충돌이 있습니다.
Python 버전 충돌과 마찬가지로 CUDA를 수동으로 설치했고 다른 용도로 필요하지 않은 경우 시스템에서 CUDA를 제거하고 다시 시도하는 것이 좋습니다. 공개 환경finetuneanon.yml을 작동하기 위해 GPU에 CUDA10이 필요한 경우 종속성 아래에 - cudatoolkit=10.2라는 줄을 추가하세요. 그런 다음 설치 프로그램을 다시 실행하면(기존 파일을 삭제하는 옵션 선택) CUDA10 호환 버전이 다운로드됩니다.
CUDA10 이상에서 실행될 수 있고 컴퓨팅 기능 5.0 이상을 지원하는 적합한 Nvidia GPU가 없는 경우 GPU에서 게임을 감지하는 데 도움을 드릴 수 없습니다. 호환되는 AMD GPU를 사용하는 ROCm 가이드를 따르지 않는 한.
이러한 오류가 발생하면 사용자 정의 모델에 대한 올바른 폴더를 선택하지 않았거나 다운로드한 모델이 (아직) KoboldAI와 호환되지 않습니다. 호환되고 pytorch_model.bin 파일을 제공하지만 필요한 모든 파일을 제공하지 않는 몇 가지 모델이 있습니다. 이 경우 동일한 종류의 호환 가능한 모델(예: GPT-Neo 모델을 다운로드한 경우 다른 GPT-Neo)을 다운로드하고 pytorch_model.bin 파일을 실행하려는 모델로 바꾸십시오. 이것이 잘 작동할 가능성이 있습니다.
소프트 프롬프트(다른 제품에서는 모듈이라고도 함)는 기존 모델의 출력을 변경할 수 있는 애드온입니다. 예를 들어 좋아하는 TV 프로그램의 대본과 같은 특정 주제와 스타일에 대해 AI를 편향시키는 소프트 프롬프트를 로드할 수 있습니다.
이러한 소프트 프롬프트는 종종 기존 프랜차이즈를 기반으로 하기 때문에 현재 저작권 문제로 인해 KoboldAI와 함께 번들로 제공되지 않습니다(우리는 전체 프로젝트를 위험에 빠뜨리고 싶지 않습니다). 대신 KoboldAI Discord 또는 커뮤니티 호스팅 미러의 #softprompts와 같은 커뮤니티 리소스를 살펴보세요.
그렇게 하면 Github에서 직접 문제를 해결하는 것보다 더 쉽게 문제를 해결할 수 있으므로 DMCA 주장으로부터 더 잘 보호받을 수 있습니다. 처음부터 만든 저작권 없는 소프트 프롬프트가 있고 공식적으로 KoboldAI와 함께 번들로 제공되기를 원하는 기존 IP를 기반으로 하지 않는 경우 소프트 프롬프트와 함께 풀 요청을 발행하세요.
Easy Softprompt Tuner를 사용하면 소프트 프롬프트 교육을 무료로 수행할 수 있으며, 이 경우 대부분의 설정을 기본값으로 둘 수 있습니다. 소스 데이터는 UTF-8 형식이고 Unix 줄 끝을 포함하는 텍스트 파일이 있는 폴더여야 합니다.
사용자 스크립트는 KoboldAI에서 작업을 자동화하거나 AI 동작/입력/출력을 수정할 수 있는 스크립트입니다.
스크립팅은 LUA5.4에서 수행되며(Python 요구 사항을 모두 충족하는 한 Lua를 별도로 설치할 필요가 없음) 악의적인 행동으로부터 사용자를 보호하는 데 도움이 되는 샌드박스가 있습니다. 이러한 조치를 취하더라도 신뢰하거나 이해하는 곳에서만 사용자 스크립트를 실행하는 것이 좋습니다. 그렇지 않으면 커뮤니티에서 스크립트가 얼마나 안전한지에 대한 조언을 구하세요.
userscripts 폴더 안에는 kaipreset 스크립트가 있습니다. 이는 사용자에게 유용할 것으로 생각되는 기본 스크립트입니다. 이러한 스크립트는 KoboldAI를 업데이트할 때 자동으로 덮어쓰여집니다. 이러한 스크립트를 수정하려면 먼저 kaipreset을 포함하지 않는 다른 이름으로 이름을 바꿔 변경 사항이 손실되지 않도록 하세요. 이러한 스크립트는 AI가 캐릭터를 귀하처럼 처리하지 못하도록 방지하는 You Bias 필터의 범위입니다. AI가 단어, 단어 대체 등을 사용하는 것을 방지할 수 있는 방법입니다.
사전 설정된 스크립트와 함께 단지 데모 역할만 하고 KoboldAI 사용을 향상시키지 않는 예제 폴더에 예제도 제공합니다. 이러한 스크립트를 사용하려면 스크립트를 사용하거나 수정하기 전에 해당 스크립트를 예제 폴더 밖으로 이동해야 합니다.
마지막으로 userscript API의 모든 기능은 userscripts 폴더 내의 API 문서 파일에 문서화되어 있습니다.
TPU 버전의 경우 AI 동작을 수정하는 스크립트는 스크립트가 이 수정자를 산발적으로만 사용하더라도 이러한 사용자 스크립트를 비활성화된 상태로 두는 경우보다 느린 다른 처리 방식에 의존한다는 점을 명심하세요. 최고 속도로 스크립트를 부분적으로 사용하려는 경우 "No Gen Modifiers"를 활성화하여 TPU를 느리게 만드는 부분이 활성화되지 않도록 할 수 있습니다.
KoboldAI에는 Kobold가 제공하는 URL(예: http://127.0.0.1:5000/api)에 /api를 추가하여 액세스할 수 있는 REST API가 있습니다.
브라우저에서 이 링크에 액세스하면 대화형 문서로 이동하게 됩니다.
이 프로젝트에는 다음 기여자의 작업이 포함되어 있습니다.
모델 근처에 상장 될 다양한 모델 제작자뿐만 아니라이를 가능하게하는 모든 테스터가 가능합니다!
우리는 당신의 기여를 놓쳤습니까? 이 목록에 이름을 추가하는 커밋을 자유롭게 발행하십시오.
Koboldai는 AGPL 라이센스로 라이센스를 부여 받았으며, 이는 어떤 목적 으로든 누구나 사용할 수 있음을 의미합니다. 그러나 공개적으로 이용 가능한 인스턴스를 만들기로 결정한 경우 사용자는 귀하가 만든 모든 수정 (웹 사이트의 버튼과 같은 인터페이스를 사용해야 함)을 포함하여 소스 코드의 사본을받을 자격이있는 경우에도 가능합니다. 이 프로젝트를 소스 코드를 포함하지 않는 양식으로 배포하지 마십시오 (예 : 코드를 컴파일 / 암호화 하고이 버전을 배포하지 않고이 버전을 배포하지 않고이 버전을 배포하지 않고이 프로젝트를 배포하지 않습니다. 당신이 제공하는 경우 소스 코드를 사용한 별도의 아카이브.).
Umamba.exe는 많은 사용자가 명령 줄 다운로드 방법에 어려움이 있음을 관찰했기 때문에 편의를 위해 번들로 제공됩니다. 프로젝트의 일부가 아니며 AGPL 라이센스에 속하지 않습니다. BSD-3-Clause 라이센스에 따라 라이센스가 부여됩니다. 라이센스가 다른 다른 파일에는 파일 내에이 라이센스의 참조 또는 내장 버전이 있습니다. 그것은 https://anaconda.org/conda-forge/micromamba/files에서 공급되었으며 소스 코드는 여기에서 찾을 수 있습니다 : https://github.com/mamba-org/mamba/tree/master/micromamba
