KoboldAI Client
Looking for our latest KoboldAI product?
KoboldAI recebeu o nome do software KoboldAI. Atualmente, nosso programa mais recente e mais popular é o KoboldCpp.
Se você está lendo esta mensagem você está na página do software KoboldAI original.
Prefere usar KoboldCpp com modelos GGUF e os recursos de API mais recentes? Você pode visitar https://koboldai.org/cpp
Precisa de suporte para modelos mais recentes, como modelos baseados em Llama usando as plataformas Huggingface/Exllama (safetensors/pytorch)? Confira a versão de desenvolvimento do KoboldAI KoboldAI United em https://koboldai.org/united
Este é um front-end baseado em navegador para escrita assistida por IA com vários modelos de IA locais e remotos. Ele oferece o conjunto padrão de ferramentas, incluindo Memória, Nota do Autor, Informações do Mundo, Salvar e Carregar, configurações de IA ajustáveis, opções de formatação e a capacidade de importar aventuras existentes de AI Dungeon. Você também pode ativar o modo Aventura e jogar como AI Dungeon Unleashed.
As histórias podem ser jogadas como um romance, um jogo de aventura em texto ou usadas como um chatbot com alternância fácil entre os vários estilos de jogo. Isto torna o KoboldAI um assistente de escrita, um jogo e uma plataforma para muito mais. A maneira como você joga e quão boa será a IA depende do modelo ou serviço que você decidir usar. Não importa se você deseja usar o poder rápido e gratuito do Google Colab, sua própria placa gráfica de última geração, um serviço online para o qual você tem uma chave de API (como OpenAI ou Inferkit) ou se prefere apenas executá-lo mais lentamente em sua CPU, você será capaz de encontrar uma maneira de usar o KoboldAI que funcione para você.
Por padrão, o KoboldAI será executado em um modo genérico otimizado para escrita, mas com o modelo certo você pode jogar como o AI Dungeon sem problemas. Você pode habilitar isso nas configurações e trazer seu próprio prompt, tentar gerar um prompt aleatório ou baixar um dos prompts disponíveis em /aids/ Prompts.
A jogabilidade será um pouco diferente da jogabilidade em AI Dungeon porque adotamos o fork Type of the Unleashed, dando a você controle total sobre todos os personagens porque não adaptamos automaticamente suas frases nos bastidores. Isso significa que você pode controlar com mais segurança personagens que não são você.
Como resultado disso, o que você precisa digitar é um pouco diferente, no AI Dungeon você digitaria pegue a espada enquanto no KoboldAI você digitaria como uma frase como Você pega a espada e isso é melhor feito com a palavra Você em vez de EU.
Para falar simplesmente digite: Você diz "Provavelmente deveríamos reunir alguns suprimentos primeiro"
Apenas digitar a citação pode funcionar, mas a IA funciona melhor quando você especifica quem faz o quê em seus comandos.
Se você quiser fazer isso com seus amigos, aconselhamos usar o personagem principal como Você e usar os outros personagens pelo nome se você estiver jogando em um modelo treinado para Aventuras. Esses modelos presumem que existe um Você na história. Este modo geralmente não funciona bem em modelos Novel porque eles não sabem como lidar com as entradas, o que é melhor usado na escrita normal de histórias, onde você se reveza com a IA.
Se você quiser usar KoboldAI como assistente de escrita, é melhor fazer isso no modo normal com um modelo otimizado para romances. Esses modelos não pressupõem que exista um personagem Você e se concentram na escrita de um romance. Escrever estes geralmente fornecerá melhores resultados do que os modelos Aventura ou Genéricos. Dito isto, se você der uma boa introdução à história, grandes modelos genéricos como 13B poderão ser usados se um modelo mais específico não estiver disponível para o que você deseja escrever. Você também pode tentar usar modelos que não sejam específicos para o que você deseja fazer, por exemplo, um modelo NSFW Novel para uma história SFW se um modelo SFW não estiver disponível. Isso significa que você terá que corrigir o modelo com mais frequência devido ao seu viés, mas ainda poderá produzir resultados bons o suficiente se estiver familiarizado o suficiente com o seu tópico.
No modo chatbot você pode usar um modelo adequado como chatbot, este modo adiciona automaticamente seu nome ao início das frases e evita que a IA fale como você. Para usá-lo corretamente, você deve escrever a abertura da história como ambos os personagens no seguinte formato (você pode usar seu próprio texto):
Bot : Hey!
You : Hey Boyname, how have you been?
Bot : Been good! How about you?
You : Been great to, excited to try out KoboldAI
Bot : KoboldAI is really fun!
You : For sure! What is your favorite game?
É recomendado que a sua própria entrada seja a última entrada, especialmente no início é possível que a IA misture os nomes. Nesse caso, tente novamente ou corrija manualmente o nome. Esse comportamento melhora à medida que o bate-papo avança. Alguns modelos podem trocar nomes se estiverem mais familiarizados com um nome diferente que seja semelhante ao nome que você definiu para o bot. Nesse caso, você pode fazer correções manuais ocasionais ou escolher um nome para o seu chatbot que a IA goste mais.
Este modo funciona melhor em um modelo genérico ou em um modelo de chatbot projetado especificamente para ele. Alguns modelos, como o modelo AvrilAI, são projetados para serem usados no modo Aventura e não estão em conformidade com o formato acima. Esses modelos normalmente são fornecidos com o modo aventura habilitado por padrão e não devem ser alternados para o modo chatbot.
Modelos de romance ou aventura não são recomendados para esse recurso, mas ainda podem funcionar, mas podem desviar-se rapidamente do formato de conversa.
Se quiser jogar KoboldAI online gratuitamente em um computador poderoso, você pode usar o Google Colaboraty. Oferecemos duas edições, uma edição TPU e uma edição GPU com uma variedade de modelos disponíveis. Eles são executados inteiramente nos servidores do Google e carregam automaticamente os salvamentos para o seu Google Drive se você decidir salvar uma história (como alternativa, você pode optar por fazer o download do seu salvamento para que ele nunca seja armazenado no Google Drive). Instruções detalhadas sobre como usá-los estão na parte inferior do Colab.
Cada edição apresenta modelos diferentes e requer hardware diferente para funcionar, isso significa que se você não conseguir obter uma TPU ou GPU, ainda poderá usar a outra versão. Os modelos que você pode usar estão listados abaixo da edição. Para abrir um Colab clique no grande link com o nome da edição.
| Modelo | Estilo | Descrição |
|---|---|---|
| Nerys por Sr. Seeker | Romance/Aventura | Nerys é um modelo híbrido baseado em Pike (um Janeway mais recente). Além do conjunto de dados de Pike, você também obtém alguns Light Novels, suporte ao modo Adventure e um pouco de Shinen na mistura. O resultado final é um modelo muito diversificado que é fortemente inclinado para a escrita de romances SFW, mas que pode ir além do seu treinamento de romance e ser um excelente modelo de aventura. O modo aventura é melhor jogado na perspectiva de segunda pessoa, mas também pode ser jogado em primeira ou terceira pessoa. A escrita de um romance pode ser feita melhor na primeira ou terceira pessoa. |
| Érebus por Mr Seeker | NSFW | Erebus é o principal modelo NSFW da nossa comunidade, sendo uma combinação de vários grandes conjuntos de dados que incluem Literotica, Shinen e romances eróticos de Nerys e com suporte completo de marcação que cobre a grande maioria dos estilos de escrita erótica. Este modelo é capaz de substituir os modelos Lit e Shinen em termos de conteúdo e estilo e foi bem recebido como (um dos) melhores modelos NSFW que existem. Se você deseja usar este modelo para uso comercial ou não de pesquisa, recomendamos escolher a versão 20B, pois ela não está sujeita à licença OPT restritiva. |
| Janeway por Sr. Seeker | Romance | Janeway é um modelo criado a partir do conjunto de dados de Picard combinado com uma nova coleção de e-books. Este modelo é treinado em 20% mais conteúdo do que Picard e foi treinado em literatura de diversos gêneros. Embora o modelo seja focado principalmente em SFW, cenas românticas podem envolver um certo grau de nudez. |
| Shinen por Mr Seeker | NSFW | Shinen é um modelo NSFW treinado em uma variedade de histórias do site Sexstories que contém muitos problemas diferentes. Ele foi incorporado ao modelo Erebus maior (e melhor). |
| Meada por VE_FORBRYDERNE | Aventura | Skein é melhor usado com o modo Aventura habilitado, consiste em um conjunto de dados de aventura 4 vezes maior do que o modelo Aventura, tornando-o excelente para jogos de aventura em texto. Além disso, também consiste em treinamento de light novel, expandindo ainda mais seu conhecimento e capacidades de escrita. Ele pode ser usado com o viés de filtro You se você desejar escrever romances com ele, mas modelos de romance dedicados podem ter um desempenho melhor para esta tarefa. |
| Aventura por VE_FORBRYDERNE | Aventura | Adventure é um modelo 6B projetado para imitar o comportamento do AI Dungeon. É exclusivo para o Modo Aventura e pode levá-lo às aventuras épicas e malucas que os jogadores do AI Dungeon adoram. Ele também apresenta os muitos tropos do AI Dungeon, pois foi treinado com dados muito semelhantes. Deve ser usado na segunda pessoa (Você). |
| Lit (V2) por Haru | NSFW | Lit é um ótimo modelo NSFW treinado por Haru em um grande conjunto de histórias Literotica e romances de alta qualidade, juntamente com suporte para marcação. Criando um modelo de alta qualidade para suas histórias NSFW. Este modelo é exclusivamente novo e é melhor usado em terceira pessoa. |
| OPTAR por Metaseq | Genérico | OPT é considerado um dos melhores modelos básicos em termos de conteúdo, seu comportamento tem os pontos fortes tanto do GPT-Neo quanto do Fairseq Dense. Em comparação com o Neo, o conteúdo duplicado e desnecessário foi deixado de fora, enquanto literatura adicional foi adicionada de forma semelhante ao modelo Fairseq Dense. O modelo Fairseq Dense, entretanto, carece dos dados mais amplos que o OPT possui. A maior desvantagem do OPT é a sua licença, que proíbe qualquer uso comercial ou além do uso para fins de pesquisa. |
| Neo(X) por EleutherAI | Genérico | NeoX é o maior modelo EleutherAI disponível atualmente, sendo um modelo genérico, não é particularmente treinado para nada e pode realizar uma variedade de tarefas de escrita, perguntas e respostas e codificação. O desempenho do 20B é comparado aos modelos 13B e vale a pena tentar ambos, especialmente se você tiver uma tarefa que não envolva escrita em inglês. Seu comportamento será semelhante ao modelo GPT-J-6B, pois são treinados no mesmo conjunto de dados, mas com mais sensibilidade à penalidade de repetição e com mais conhecimento. |
| Fairseq Denso | Genérico | Treinado por pesquisadores do Facebook, este modelo deriva do projeto de pesquisa MOE da Fairseq. Esta versão específica foi convertida por nós para uso no KoboldAI. É conhecido por estar no mesmo nível do modelo maior 20B da EleutherAI e considerado o melhor para cultura pop e tarefas linguísticas. Como o modelo nunca viu uma nova linha (enter), ele pode ter um desempenho pior na formatação e no parágrafo. Comparado com outros modelos, o conjunto de dados concentra-se principalmente na literatura e contém pouco mais. |
| GPT-J-6B por EleutherAI | Genérico | Este modelo serve de base para a maioria dos outros modelos 6B (alguns sendo baseados no Fairseq Dense). Sendo treinado na pilha e não sendo influenciado por nada em particular, é adequado para uma variedade de tarefas, como redação, perguntas e respostas e tarefas de codificação. Você provavelmente obterá melhores resultados com modelos genéricos maiores ou modelos ajustados. |
| Modelo | Estilo | Descrição |
|---|---|---|
| Nerys por Sr. Seeker | Romance/Aventura | Nerys é um modelo híbrido baseado em Pike (um Janeway mais recente), além do conjunto de dados de Pike você também obtém alguns Light Novels, suporte ao modo Adventure e um pouco de Shinen na mistura. O resultado final é um modelo muito diversificado que é fortemente inclinado para a escrita de romances SFW, mas que pode ir além do seu treinamento de romance e ser um excelente modelo de aventura. O modo aventura é melhor jogado na perspectiva de segunda pessoa, mas também pode ser jogado em primeira ou terceira pessoa. A escrita de um romance pode ser feita melhor na primeira ou terceira pessoa. |
| Tiefighter 13B da KoboldAI | Híbrido | Tiefighter 13B é um híbrido de ficção muito versátil, ele pode escrever, conversar e jogar jogos de aventura e também responder a instruções regulares (embora não recomendamos este modelo para uso factual devido à sua natureza ficcional). Este é um excelente modelo inicial, para obter melhores resultados evite usar a escrita em segunda pessoa em seus bate-papos, a menos que você queira que isso se torne uma aventura de texto. |
| Janeway por Sr. Seeker | Romance | Janeway é um modelo criado a partir do conjunto de dados de Picard combinado com uma nova coleção de e-books. Este modelo é treinado em 20% mais conteúdo do que Picard e foi treinado em literatura de diversos gêneros. Embora o modelo seja focado principalmente em SFW, cenas românticas podem envolver um certo grau de nudez. |
| Picard por Sr. Seeker | Romance | Picard é um modelo treinado para SFW Novels baseado em Neo 2.7B. É focado na escrita de estilo romance sem o viés NSFW. Embora o nome sugira um modelo de ficção científica, este modelo foi projetado para romances de vários gêneros. Destina-se a ser usado no modo normal do KoboldAI. |
| AJUDA por melastacho | Aventura | Também conhecido como Adventure 2.7B, este é um clone do modelo AI Dungeon Classic e é mais conhecido pelas aventuras épicas e malucas que os jogadores do AI Dungeon Classic adoram. |
| OPTAR por Metaseq | Genérico | OPT é considerado um dos melhores modelos básicos em termos de conteúdo, seu comportamento tem os pontos fortes tanto do GPT-Neo quanto do Fairseq Dense. Em comparação com o Neo, o conteúdo duplicado e desnecessário foi deixado de fora, enquanto literatura adicional foi adicionada de forma semelhante ao modelo Fairseq Dense. O modelo Fairseq Dense, entretanto, carece dos dados mais amplos que o OPT possui. A maior desvantagem do OPT é a sua licença, que proíbe qualquer uso comercial ou além do uso para fins de pesquisa. |
| Fairseq Denso | Genérico | Treinado por pesquisadores do Facebook, este modelo deriva do projeto de pesquisa MOE da Fairseq. Esta versão específica foi convertida por nós para uso no KoboldAI. É conhecido por estar no mesmo nível dos modelos maiores da EleutherAI e considerado melhor para cultura pop e tarefas linguísticas. Como o modelo nunca viu uma nova linha (enter), ele pode ter um desempenho pior na formatação e no parágrafo. Comparado com outros modelos, o conjunto de dados concentra-se principalmente na literatura e contém pouco mais. |
| MythoMax 13B da Gryphe | RPG | Uma variante melhorada e potencialmente até aperfeiçoada do MythoMix, meu MythoLogic-L2 e Huginn se fundem usando uma técnica de mesclagem de tipo tensor altamente experimental¹. |
| Holomax 13B da KoboldAI | Aventura | Esta é uma fusão de expansão para o elogiado modelo MythoMax da Gryphe (60%) usando o modelo KoboldAI Holodeck da MrSeeker (40%). O objetivo deste modelo é aprimorar os recursos de escrita de histórias, preservando ao máximo as características desejáveis do modelo MythoMax (ele limita a duração da resposta do chat). |
| Airoboros 13B por Jon Durbin | Genérico | Este é um modelo de lhama-2 com instruções ajustadas, usando instruções sintéticas geradas por airoboros⁵. |
| Emerhyst 13B por Undi | RPG | Uma tentativa de usar BlockMerge_Gradient para obter melhores resultados. Além disso, foi utilizado LimaRP v3⁷. |
| Cronos 13B por Elinas | Genérico | Este modelo concentra-se principalmente em bate-papo, dramatização e redação de histórias, mas pode realizar outras tarefas, como raciocínio e codificação simples. O Chronos gera resultados muito longos com texto coerente, em grande parte devido às informações humanas nas quais foi treinado. |
| Dragão da Primavera por Henk717 | Aventura | Este modelo é uma tentativa de recriação do modelo AI Dungeon 2 Dragon. Para conseguir isso, foi usado o conjunto de dados "text_adventures.txt", que foi fornecido com a versão original do AI Dungeon 2 GitHub antes do serviço online. Vale ressaltar que o mesmo arquivo de conjunto de dados foi usado para criar o modelo Dragon, onde Dragon é um modelo GPT-3 175B Davinci de 2020. |
| Holodeck por KoboldAI | Aventura | LLAMA2 13B-Holodeck é um ajuste fino criado usando o modelo lhama 2 da Meta. Os dados de treinamento contêm cerca de 3.000 e-books em vários gêneros. A maior parte do conjunto de dados foi anexada com o seguinte texto: [Gênero:, |
| Neo por EleutherAI | Genérico | Este é o modelo base para todos os outros modelos 2.7B, é melhor usado quando você tem um caso de uso para o qual não temos outros modelos disponíveis, como escrever artigos de blog ou programação. Também pode ser uma boa base para a experiência de alguns dos softprompts se o seu softprompt não for sobre um assunto abordado por outros modelos. |
| Vários modelos 2.7b por vários | Vários modelos menores também podem ser carregados no GPU colab. |
| Tipo | Descrição |
|---|---|
| Romance | Para escrita normal de histórias, não é compatível com o modo Aventura ou outros modos especiais. |
| NSFW | Indica que o modelo é fortemente tendencioso para conteúdo NSFW e não é adequado para crianças, ambientes de trabalho ou transmissão ao vivo. A maioria dos modelos NSFW também são modelos novos por natureza. |
| Aventura | Esses modelos são excelentes para pessoas dispostas a jogar KoboldAI como um jogo de aventura em texto e devem ser usados com o modo Aventura habilitado. Mesmo se você quiser usá-lo como um modelo do tipo Novel, você deve sempre ter o modo Aventura ativado e configurá-lo para história. Esses modelos normalmente têm uma forte tendência ao uso da palavra Você e, sem o modo Aventura habilitado, quebram o fluxo da história e escrevem ações em seu nome. |
| Híbrido | Os modelos híbridos são uma mistura entre diferentes tipos, por exemplo, eles são treinados tanto em histórias de romance quanto em histórias de aventura. Esses modelos são modelos de grande variedade que você pode usar para vários playTypes e modos diferentes, mas dependendo do seu uso, pode ser necessário ativar o modo aventura ou o viés You (em scripts de usuário). |
| Genérico | Os modelos genéricos não são treinados para nada específico, normalmente usados como base para outras tarefas e modelos. Eles podem fazer tudo o que os outros modelos podem fazer, mas exigem muito mais apoio para funcionar corretamente. Os modelos genéricos são uma base ideal para tarefas para as quais não temos um modelo específico ou para experimentar um softprompt em sua forma bruta. |
KoboldAI tem um grande número de dependências que você precisará instalar em seu computador. Infelizmente, o Python não facilita o fornecimento de instruções que funcionem para todos. As instruções abaixo funcionarão na maioria dos computadores, mas se você tiver várias versões do Python instaladas, poderão ocorrer conflitos.
KoboldAI é uma versão contínua em nosso github, o código que você vê também é o jogo. Você pode baixar o software clicando no botão verde Código na parte superior da página e clicando em Baixar ZIP ou usar o comando git clone . Então, no Windows, você precisa executar install_requirements.bat (usar o modo admin é recomendado para evitar erros) e, quando terminar, ou se você estiver no Linux, play.bat/sh ou remote-play.bat/sh para executá-lo.
A maneira mais fácil para usuários do Windows é usar o instalador offline abaixo.
KoboldAI agora irá configurar automaticamente suas dependências e inicializar, tudo está contido em seu próprio tempo de execução conda para não sobrecarregar seu sistema. Os arquivos estarão localizados na subpasta de tempo de execução. Se a qualquer momento você desejar forçar uma reinstalação do tempo de execução, poderá fazê-lo com o arquivo install_requirements.sh. Embora você possa executar isso manualmente, não é necessário.
Não podemos fornecer um guia passo a passo para instalação manual devido às grandes diferenças entre a configuração do software existente e os sistemas de nossos usuários.
Se desejar instalar manualmente o KoboldAI, você precisará de algum conhecimento de gerenciamento de pacotes python/conda para executar manualmente uma das seguintes etapas:
As GPUs AMD têm um péssimo suporte computacional. No momento, isso não funcionará no Windows e funcionará apenas para algumas GPUs Linux selecionadas. Você pode encontrar uma lista de GPUs compatíveis aqui. Qualquer GPU que não esteja listada tem garantia de não funcionar com KoboldAI e não poderemos fornecer suporte adequado em GPUs que não sejam compatíveis com as versões de ROCm que necessitamos. Certifique-se de instalar primeiro o ROCm em seu sistema Linux usando um guia para sua distribuição, depois disso você pode seguir as instruções usuais do Linux acima.
Existem várias coisas que podem dar errado na maneira como o Python lida com suas dependências. Infelizmente, não temos soluções diretas passo a passo para cada cenário, mas existem algumas soluções comuns que você pode tentar.
Isso SEMPRE é uma falha no download/instalação ou um conflito com outras versões do Python. Isto é muito comum se os usuários escolherem a opção de subpasta durante a instalação ao colocar o KoboldAI em um local que tenha espaços no caminho. Quando um antivírus protege a instalação ou de outra forma interfere nos downloads, sistemas com pouco espaço em disco ou quando seu sistema operacional não foi configurado para Long FIle Paths (o instalador fará isso no Windows 10 e superior se você executá-lo como administrador, qualquer outra coisa que o Windows 10 não é compatível com nossos instaladores).
Outro motivo pelo qual a instalação pode ter falhado é se você tiver instalações conflitantes de Python em sua máquina, se você pressionar a tecla Windows + R e inserir% appdata% na caixa de diálogo Executar, ele abrirá a pasta Python instala dependências em alguns sistemas. Se você tiver uma pasta Python neste local, renomeie esta pasta e tente executar o instalador novamente. Agora ele não deve mais ficar preso nas dependências existentes. Experimente o jogo e veja se funciona bem. Se isso acontecer, você pode tentar renomear a pasta para ver se ela permanece funcional.
A terceira razão pela qual a instalação pode ter falhado é se você tiver conda/mamba em seu sistema por outros motivos; nesse caso, recomendamos remover suas instalações existentes de python/conda se você não precisar delas e testar nosso instalador novamente. Ou usando o próprio conda com nossos arquivos de ambiente agrupados para permitir que ele crie seu tempo de execução manualmente. Tenha em mente que se você seguir o caminho manual, NUNCA deverá usar play.bat, mas sim executar aiserver.py diretamente .
Em geral, quanto menos versões do Python você tiver em seu sistema, maiores serão suas chances de instalação correta. Estamos constantemente tentando mitigar esses conflitos de instalação em nossos instaladores, mas para alguns usuários ainda não podemos evitar todos os conflitos.
Erros de GPU não encontrada podem ser causados por uma de duas coisas: ou você não tem uma GPU Nvidia adequada (é necessário Compute Capability 5.0 ou superior para poder jogar KoboldAI). Sua GPU Nvidia é compatível com KoboldAI, mas não é compatível com a versão mais recente do CUDA. Sua GPU Nvidia ainda não é compatível com a versão mais recente do CUDA ou você tem um conflito de dependência como os mencionados acima.
Assim como acontece com os conflitos de versão do Python, recomendamos desinstalar o CUDA do seu sistema se você o instalou manualmente e não precisar dele para mais nada e tentar novamente. Se sua GPU precisa de CUDA10 para funcionar, abra ambientesfinetuneanon.yml e adicione uma linha que diz - cudatoolkit=10.2 abaixo de dependências: . Depois disso, você pode executar o instalador novamente (escolha a opção para excluir os arquivos existentes) e ele fará o download de uma versão compatível com CUDA10.
Se você não tiver uma GPU Nvidia adequada que possa rodar em CUDA10 ou superior e que suporte Compute Capabilities 5.0 ou superior, não poderemos ajudá-lo a detectar o jogo na GPU. A menos que você esteja seguindo nosso guia ROCm com uma GPU AMD compatível.
Se receber esses erros, você não selecionou a pasta correta para o seu modelo personalizado ou o modelo que você baixou (ainda) não é compatível com KoboldAI. Existem alguns modelos que são compatíveis e fornecem um arquivo pytorch_model.bin, mas não enviam todos os arquivos necessários. Neste caso, tente baixar um modelo compatível do mesmo tipo (por exemplo, outro GPT-Neo se você baixou um modelo GPT-Neo) e substitua o arquivo pytorch_model.bin por aquele que você está tentando executar. Provavelmente, isso funcionará bem.
Softprompts (também conhecidos como Módulos em outros produtos) são complementos que podem alterar a saída de modelos existentes. Por exemplo, você pode carregar um softprompt que direciona a IA para um determinado assunto e estilo, como transcrições de seu programa de TV favorito.
Como esses softprompts geralmente são baseados em franquias existentes, atualmente não agrupamos nenhum deles com o KoboldAI devido a questões de direitos autorais (não queremos colocar todo o projeto em risco). Em vez disso, consulte os recursos da comunidade, como #softprompts no KoboldAI Discord ou no espelho hospedado pela comunidade.
Dessa forma, estaremos mais protegidos de quaisquer reivindicações de DMCA, pois as coisas podem ser retiradas mais facilmente do que diretamente no Github. Se você tiver um softprompt livre de direitos autorais criado do zero e não baseado no IP existente que gostaria de ver oficialmente incluído no KoboldAI, emita uma solicitação pull com seu softprompt.
O treinamento de softprompts pode ser feito gratuitamente com o Easy Softprompt Tuner, nesse caso você pode deixar a maioria das configurações padrão. Seus dados de origem precisam ser uma pasta com arquivos de texto formatados em UTF-8 e contendo finais de linha Unix.
Userscripts são scripts que podem automatizar tarefas no KoboldAI ou modificar o comportamento/entrada/saída da IA.
O script é feito em LUA5.4 (Lua não precisa ser instalado separadamente, desde que você tenha todos os requisitos do python) e possui sandbox para ajudar a protegê-lo contra comportamento malicioso. Mesmo com essas medidas em vigor, recomendamos fortemente que você execute scripts de usuário apenas em locais em que você confia e/ou entende; caso contrário, consulte a comunidade para obter conselhos sobre o quão seguro o script pode ser.
Dentro da pasta userscripts você encontrará nossos scripts kaipreset, são scripts padrão que achamos que serão úteis para nossos usuários. Esses scripts são substituídos automaticamente quando você atualiza o KoboldAI. Se você deseja modificar esses scripts, certifique-se primeiro de renomeá-los para algo que não contenha kaipreset para que suas alterações não sejam perdidas. Esses scripts variam de um filtro You Bias que impede a IA de abordar os personagens como você. Maneiras de evitar que a IA use palavras, substituições de palavras e muito mais.
Junto com nossos scripts predefinidos, também enviamos exemplos na pasta de exemplos que servem apenas como demonstração e não melhoram o uso do KoboldAI. Para usar esses scripts, certifique-se de removê-los da pasta de exemplos antes de usar ou modificar o script.
Por último, todos os recursos de nossa API userscript estão documentados nos arquivos de documentação da API dentro da pasta userscripts.
Para nossas versões TPU, lembre-se de que os scripts que modificam o comportamento da IA dependem de uma forma diferente de processamento que é mais lenta do que se você deixar esses scripts de usuário desabilitados, mesmo que seu script use esse modificador apenas esporadicamente. Se você quiser usar parcialmente um script em sua velocidade máxima, você pode ativar "No Gen Modifiers" para garantir que as partes que tornariam a TPU lenta não estejam ativas.
KoboldAI possui uma API REST que pode ser acessada adicionando /api à URL que Kobold fornece (por exemplo http://127.0.0.1:5000/api).
Ao acessar este link em um navegador você será levado à documentação interativa.
Este projeto contém trabalhos dos seguintes colaboradores:
Bem como vários criadores de modelos que serão listados perto de seus modelos e todos os testadores que ajudaram a tornar isso possível!
Perdemos sua contribuição? Sinta -se à vontade para emitir um compromisso adicionando seu nome a esta lista.
A Koboldai é licenciada com uma licença AGPL, em resumo, isso significa que ela pode ser usada por qualquer pessoa para qualquer finalidade. No entanto, se você decidir tornar uma instância disponível ao público, seus usuários têm direito a uma cópia do código -fonte, incluindo todas as modificações que você fez (que precisa estar disponível através de uma interface como um botão no seu site), você também pode não distribuir este projeto em um formulário que não contém o código -fonte (como compilar / criptografar o código e distribuir esta versão sem também distribuir o código -fonte que inclui as alterações que você fez. Você pode distribuir isso de forma fechada Se você também fornecer um arquivo separado com o código -fonte.).
O Umamba.exe é incluído por conveniência porque observamos que muitos de nossos usuários tiveram problemas com os métodos de download da linha de comando, ele não faz parte do nosso projeto e não se enquadra na licença da AGPL. Está licenciado sob a licença BSD-3-cláusula. Outros arquivos com licenças diferentes terão uma versão de referência ou incorporado desta licença dentro do arquivo. Foi adquirido de https://anaconda.org/conda-forge/micromamba/files e seu código-fonte pode ser encontrado aqui: https://github.com/mamba-org/mamba/tree/master/micromamba
