KoboldAI Client
Looking for our latest KoboldAI product?
KoboldAI lleva el nombre del software KoboldAI; actualmente nuestro programa más nuevo y más popular es KoboldCpp.
Si estás leyendo este mensaje estás en la página del software KoboldAI original.
¿Prefieres usar KoboldCpp con modelos GGUF y las últimas funciones API? Puedes visitar https://koboldai.org/cpp
¿Necesita soporte para modelos más nuevos, como los modelos basados en Llama, que utilizan las plataformas Huggingface/Exllama (safetensors/pytorch)? Consulte la versión de desarrollo de KoboldAI, KoboldAI United, en https://koboldai.org/united
Se trata de una interfaz basada en navegador para escritura asistida por IA con múltiples modelos de IA locales y remotos. Ofrece la gama estándar de herramientas, que incluyen Memoria, Nota del autor, Información mundial, Guardar y cargar, configuraciones de IA ajustables, opciones de formato y la capacidad de importar aventuras de mazmorras de IA existentes. También puedes activar el modo Aventura y jugar como AI Dungeon Unleashed.
Las historias se pueden jugar como una novela, un juego de aventuras de texto o usarse como un chatbot con un fácil cambio entre los múltiples estilos de juego. Esto convierte a KoboldAI en un asistente de escritura, un juego y una plataforma para mucho más. La forma en que juegas y qué tan buena será la IA depende del modelo o servicio que decidas utilizar. No importa si desea utilizar la potencia rápida y gratuita de Google Colab, su propia tarjeta gráfica de alta gama, un servicio en línea para el que tiene una clave API (como OpenAI o Inferkit) o si prefiere ejecutarlo más lento en su CPU, podrá encontrar una manera de utilizar KoboldAI que funcione para usted.
De forma predeterminada, KoboldAI se ejecutará en un modo genérico optimizado para escritura, pero con el modelo correcto puedes jugar como AI Dungeon sin ningún problema. Puede habilitar esto en la configuración y traer su propio mensaje, intente generar un mensaje aleatorio o descargar uno de los mensajes disponibles en /aids/Prompts.
La jugabilidad será ligeramente diferente a la de AI Dungeon porque adoptamos el tipo de bifurcación Unleashed, lo que te brinda control total sobre todos los personajes porque no adaptamos automáticamente tus oraciones detrás de escena. Esto significa que puedes controlar de manera más confiable a personajes que no eres tú.
Como resultado de esto, lo que necesitas escribir es ligeramente diferente, en AI Dungeon escribirías tomar la espada mientras que en KoboldAI lo escribirías como una oración como Tomas la espada y esto se hace mejor con la palabra Tú en lugar de I.
Para hablar simplemente escriba: Dice "Probablemente deberíamos reunir algunos suministros primero".
Simplemente escribir la cita podría funcionar, pero la IA funciona mejor cuando especificas quién hace qué en tus comandos.
Si quieres hacer esto con tus amigos, te recomendamos usar al personaje principal como Tú y usar a los otros personajes por su nombre si estás jugando con un modelo entrenado para aventuras. Estos modelos suponen que hay un Tú en la historia. Este modo generalmente no funciona bien en los modelos Novel porque no saben cómo manejar la entrada; se usan mejor con la escritura de historias regular donde te turnas con la IA.
Si desea utilizar KoboldAI como asistente de escritura, es mejor hacerlo en el modo normal con un modelo optimizado para Novelas. Estos modelos no asumen que hay un personaje de Tú y se centran en la escritura tipo novela. Escribirlos a menudo le dará mejores resultados que los modelos Aventura o Genéricos. Dicho esto, si le da una buena introducción a la historia, se pueden usar modelos genéricos grandes como el 13B si no hay un modelo más específico disponible para lo que desea escribir. También puede intentar utilizar modelos que no sean específicos de lo que desea hacer, por ejemplo, un modelo Novel NSFW para una historia SFW si un modelo SFW no está disponible. Esto significará que tendrá que corregir el modelo con más frecuencia debido a su sesgo, pero aún puede producir resultados suficientemente buenos si está lo suficientemente familiarizado con su tema.
En el modo chatbot puedes usar un modelo adecuado como chatbot, este modo agrega automáticamente tu nombre al comienzo de las oraciones y evita que la IA hable como tú. Para usarlo correctamente debes escribir la apertura de tu historia con ambos personajes en el siguiente formato (puedes usar tu propio texto):
Bot : Hey!
You : Hey Boyname, how have you been?
Bot : Been good! How about you?
You : Been great to, excited to try out KoboldAI
Bot : KoboldAI is really fun!
You : For sure! What is your favorite game?
Se recomienda que su propia entrada sea la última, especialmente al principio, es posible que la IA confunda los nombres. En ese caso, vuelva a intentarlo o corrija manualmente el nombre. Este comportamiento mejora a medida que avanza el chat. Algunos modelos pueden intercambiar nombres si están más familiarizados con un nombre diferente que sea similar al nombre que definiste para el bot. En ese caso, puedes realizar correcciones manuales ocasionales o elegir un nombre para tu chatbot que le guste más a la IA.
Este modo funciona mejor en un modelo genérico o en un modelo de chatbot diseñado específicamente para él; algunos modelos, como el modelo AvrilAI, están diseñados para usarse en el modo Aventura y no se ajustan al formato anterior. Estos modelos normalmente se envían con el modo aventura habilitado de forma predeterminada y no deben cambiarse al modo chatbot.
No se recomiendan los modelos Novel o Adventure para esta función, pero aún así pueden funcionar, pero pueden desviarse rápidamente del formato de conversación.
Si quieres jugar KoboldAI online gratis en un ordenador potente, puedes utilizar Google Colaboraty. Ofrecemos dos ediciones, una edición de TPU y una de GPU con una variedad de modelos disponibles. Estos se ejecutan completamente en los servidores de Google y cargarán automáticamente los archivos guardados en su Google Drive si elige guardar una historia (como alternativa, puede optar por descargar su archivo guardado para que nunca se almacene en Google Drive). Las instrucciones detalladas sobre cómo usarlos se encuentran en la parte inferior de Colab.
Cada edición presenta diferentes modelos y requiere diferente hardware para ejecutarse, esto significa que si no puedes obtener una TPU o una GPU, es posible que aún puedas usar la otra versión. Los modelos que puede utilizar se enumeran debajo de la edición. Para abrir un Colab, haga clic en el enlace grande que muestra el nombre de la edición.
| Modelo | Estilo | Descripción |
|---|---|---|
| Nerys de Mr Seeker | Novela/Aventura | Nerys es un modelo híbrido basado en Pike (una Janeway más nueva), además del conjunto de datos de Pike, también obtienes algunas novelas ligeras, compatibilidad con el modo Aventura y un poco de Shinen en la mezcla. El resultado final es un modelo muy diverso que está fuertemente sesgado hacia la escritura de novelas SFW, pero que puede ir más allá de su formación novedosa y convertirse en un excelente modelo de aventuras. El modo Aventura se juega mejor desde una perspectiva de segunda persona, pero también se puede jugar en primera o tercera persona. La escritura de novelas se puede hacer mejor en primera o tercera persona. |
| Erebus de Mr Seeker | NSFW | Erebus es el modelo NSFW insignia de nuestra comunidad, ya que es una combinación de múltiples conjuntos de datos grandes que incluyen Literotica, Shinen y novelas eróticas de Nerys y, con un soporte completo de etiquetado, cubre la gran mayoría de estilos de escritura erótica. Este modelo es capaz de reemplazar tanto al modelo Lit como al Shinen en términos de contenido y estilo y ha sido bien recibido como (uno de) los mejores modelos NSFW que existen. Si desea utilizar este modelo para uso comercial o no de investigación, le recomendamos elegir la versión 20B, ya que no está sujeta a la restrictiva licencia OPT. |
| Janeway por el señor buscador | Novedoso | Janeway es un modelo creado a partir del conjunto de datos de Picard combinado con una nueva colección de libros electrónicos. Este modelo está entrenado en un 20% más de contenido que Picard y ha sido entrenado en literatura de varios géneros. Aunque el modelo se centra principalmente en SFW, las escenas románticas pueden implicar cierto grado de desnudez. |
| Shinen de Mr Seeker | NSFW | Shinen es un modelo NSFW entrenado en una variedad de historias del sitio web Sexstories y contiene muchos problemas diferentes. Se ha fusionado con el modelo Erebus más grande (y mejor). |
| Madeja de VE_FORBRYDERNE | Aventura | Skein se utiliza mejor con el modo Aventura habilitado; consta de un conjunto de datos de aventuras 4 veces más grande que el modelo Aventura, lo que lo hace excelente para juegos de aventuras de texto. Además de eso, también consiste en una formación en novelas ligeras que amplía aún más sus conocimientos y capacidades de escritura. Se puede utilizar con el sesgo Usted filtra si desea escribir novelas con él, pero los modelos de novela dedicados pueden funcionar mejor para esta tarea. |
| Aventura por VE_FORBRYDERNE | Aventura | Adventure es un modelo 6B diseñado para imitar el comportamiento de AI Dungeon. Es exclusivo para el Modo Aventura y puede llevarte a las aventuras épicas y extravagantes que adoran los jugadores de AI Dungeon. También presenta los muchos tropos de AI Dungeon, ya que ha sido entrenado con datos muy similares. Debe usarse en segunda persona (Tú). |
| Iluminado (V2) por Haru | NSFW | Lit es un excelente modelo NSFW entrenado por Haru tanto en un gran conjunto de historias de Literotica como en novelas de alta calidad junto con soporte de etiquetado. Creando un modelo de alta calidad para sus historias NSFW. Este modelo es exclusivamente un modelo novedoso y se utiliza mejor en tercera persona. |
| OPT por Metaseq | Genérico | OPT es considerado uno de los mejores modelos base en cuanto a contenido, su comportamiento tiene los puntos fuertes tanto de GPT-Neo como de Fairseq Dense. En comparación con Neo, se ha omitido el contenido duplicado e innecesario, mientras que se agregó literatura adicional similar al modelo Fairseq Dense. Sin embargo, el modelo Fairseq Dense carece de los datos más amplios que sí tiene OPT. La mayor desventaja de OPT es su licencia, que prohíbe cualquier uso comercial o más allá de los fines de investigación. |
| Neo(X) de EleutherAI | Genérico | NeoX es el modelo EleutherAI más grande disponible actualmente; al ser un modelo genérico, no está particularmente capacitado para nada y puede realizar una variedad de tareas de escritura, preguntas y respuestas y codificación. El rendimiento del 20B se compara estrechamente con el de los modelos 13B y vale la pena probar ambos, especialmente si tienes una tarea que no implica escribir en inglés. Su comportamiento será similar al modelo GPT-J-6B ya que están entrenados con el mismo conjunto de datos pero con más sensibilidad a la penalización por repetición y con más conocimiento. |
| Fairseq denso | Genérico | Este modelo, formado por investigadores de Facebook, surge del proyecto de investigación del MOE dentro de Fairseq. Esta versión en particular ha sido convertida por nosotros para su uso en KoboldAI. Se sabe que está a la par con el modelo 20B más grande de EleutherAI y se considera mejor para tareas lingüísticas y de cultura pop. Debido a que el modelo nunca ha visto una nueva línea (enter), es posible que tenga un peor rendimiento en el formato y el párrafo. En comparación con otros modelos, el conjunto de datos se centra principalmente en la literatura y contiene poco más. |
| GPT-J-6B de EleutherAI | Genérico | Este modelo sirve como base para la mayoría de los otros modelos 6B (algunos se basan en Fairseq Dense). Al estar capacitado en Pile y no estar sesgado hacia nada en particular, es adecuado para una variedad de tareas como redacción, preguntas y respuestas y tareas de codificación. Probablemente obtendrá mejores resultados con modelos genéricos más grandes o modelos ajustados. |
| Modelo | Estilo | Descripción |
|---|---|---|
| Nerys de Mr Seeker | Novela/Aventura | Nerys es un modelo híbrido basado en Pike (una Janeway más nueva), además del conjunto de datos de Pike, también obtienes algunas novelas ligeras, compatibilidad con el modo Aventura y un poco de Shinen en la mezcla. El resultado final es un modelo muy diverso que está fuertemente sesgado hacia la escritura de novelas SFW, pero que puede ir más allá de su formación novedosa y convertirse en un excelente modelo de aventuras. El modo Aventura se juega mejor desde una perspectiva de segunda persona, pero también se puede jugar en primera o tercera persona. La escritura de novelas se puede hacer mejor en primera o tercera persona. |
| Caza Tie 13B de KoboldAI | Híbrido | Tiefighter 13B es un híbrido de ficción muy versátil, puede escribir, chatear y jugar juegos de aventuras y también puede responder instrucciones regulares (aunque no recomendamos este modelo para uso real debido a su naturaleza ficticia). Este es un excelente modelo inicial; para obtener mejores resultados, evita utilizar la escritura en segunda persona en tus chats a menos que quieras que se convierta en una aventura de texto. |
| Janeway por el señor buscador | Novedoso | Janeway es un modelo creado a partir del conjunto de datos de Picard combinado con una nueva colección de libros electrónicos. Este modelo está entrenado en un 20% más de contenido que Picard y ha sido entrenado en literatura de varios géneros. Aunque el modelo se centra principalmente en SFW, las escenas románticas pueden implicar cierto grado de desnudez. |
| Picard de Mr Seeker | Novedoso | Picard es un modelo entrenado para SFW Novels basado en Neo 2.7B. Se centra en la escritura de estilo novedoso sin el sesgo NSFW. Si bien el nombre sugiere un modelo de ciencia ficción, este modelo está diseñado para novelas de diversos géneros. Está destinado a ser utilizado en el modo normal de KoboldAI. |
| AYUDA de melastacho | Aventura | También conocido como Adventure 2.7B, este es un clon del modelo AI Dungeon Classic y es mejor conocido por las aventuras épicas y locas que adoran los jugadores de AI Dungeon Classic. |
| OPT por Metaseq | Genérico | OPT es considerado uno de los mejores modelos base en cuanto a contenido, su comportamiento tiene los puntos fuertes tanto de GPT-Neo como de Fairseq Dense. En comparación con Neo, se ha omitido el contenido duplicado e innecesario, mientras que se agregó literatura adicional similar al modelo Fairseq Dense. Sin embargo, el modelo Fairseq Dense carece de los datos más amplios que sí tiene OPT. La mayor desventaja de OPT es su licencia, que prohíbe cualquier uso comercial o más allá de los fines de investigación. |
| Fairseq denso | Genérico | Este modelo, formado por investigadores de Facebook, surge del proyecto de investigación del MOE dentro de Fairseq. Esta versión en particular ha sido convertida por nosotros para su uso en KoboldAI. Se sabe que está a la par de los modelos más grandes de EleutherAI y se considera mejor para tareas lingüísticas y de cultura pop. Debido a que el modelo nunca ha visto una nueva línea (enter), es posible que tenga un peor rendimiento en el formato y el párrafo. En comparación con otros modelos, el conjunto de datos se centra principalmente en la literatura y contiene poco más. |
| MythoMax 13B de Gryphe | Juego de roles | Una variante mejorada, potencialmente incluso perfeccionada, de MythoMix, MythoLogic-L2 y Huginn se fusionan utilizando una técnica de fusión de tipo tensor altamente experimental¹. |
| Holomax 13B de KoboldAI | Aventura | Se trata de una fusión de expansión del muy elogiado modelo MythoMax de Gryphe (60%) utilizando el modelo KoboldAI Holodeck de MrSeeker (40%). El objetivo de este modelo es mejorar las capacidades de escritura de historias y al mismo tiempo preservar los rasgos deseables del modelo MythoMax tanto como sea posible (limita la duración de las respuestas del chat). |
| Airoboros 13B por Jon Durbin | Genérico | Este es un modelo llama-2 con instrucciones ajustadas, que utiliza instrucciones sintéticas generadas por airoboros⁵. |
| Emerhyst 13B de Undi | Juego de roles | Un intento de utilizar BlockMerge_Gradient para obtener mejores resultados. Además, se utilizó LimaRP v3⁷. |
| Cronos 13B de Elinas | Genérico | Este modelo se centra principalmente en el chat, el juego de roles y la redacción de historias, pero puede realizar otras tareas, como razonamiento y codificación simples. Chronos genera resultados muy largos con texto coherente, en gran parte debido a las aportaciones humanas en las que fue entrenado. |
| Dragón de primavera de Henk717 | Aventura | Este modelo es un intento de recreación del modelo AI Dungeon 2 Dragon. Para lograr esto, se utilizó el conjunto de datos "text_adventures.txt", que se incluyó con la versión original de AI Dungeon 2 GitHub antes del servicio en línea. Vale la pena señalar que se utilizó el mismo archivo de conjunto de datos para crear el modelo Dragon, donde Dragon es un modelo GPT-3 175B Davinci de 2020. |
| Holocubierta por KoboldAI | Aventura | LLAMA2 13B-Holodeck es un ajuste creado utilizando el modelo llama 2 de Meta. Los datos de entrenamiento contienen alrededor de 3000 libros electrónicos de varios géneros. La mayoría de las partes del conjunto de datos se han antepuesto con el siguiente texto: [Género:, |
| Neo de EleutherAI | Genérico | Este es el modelo base para todos los demás modelos 2.7B; se utiliza mejor cuando tiene un caso de uso para el que no tenemos otros modelos disponibles, como escribir artículos de blog o programar. También puede ser una buena base para la experiencia de algunas de las indicaciones suaves si su indicación suave no trata sobre un tema que cubren los otros modelos. |
| Varios modelos 2.7b por varios | También es posible cargar varios modelos más pequeños en GPU colab. |
| Tipo | Descripción |
|---|---|
| Novedoso | Para escritura de historias normal, no compatible con el modo Aventura u otros modos especiales. |
| NSFW | Indica que el modelo está fuertemente sesgado hacia el contenido NSFW y no es adecuado para niños, entornos laborales o transmisiones en vivo. La mayoría de los modelos NSFW también son modelos novedosos por naturaleza. |
| Aventura | Estos modelos son excelentes para las personas que desean jugar KoboldAI como un juego de Aventura de texto y están pensados para usarse con el modo Aventura habilitado. Incluso si deseas usarlo como modelo de tipo novela, siempre debes tener activado el modo Aventura y configurarlo en historia. Estos modelos suelen tener un fuerte sesgo hacia el uso de la palabra Tú y sin el modo Aventura habilitado, rompes el flujo de la historia y escribes acciones en tu nombre. |
| Híbrido | Los modelos híbridos son una combinación de diferentes tipos; por ejemplo, están entrenados tanto en historias de novelas como en historias de aventuras. Estos modelos son una gran variedad de modelos que puedes usar para múltiples tipos y modos de juego diferentes, pero dependiendo de tu uso, es posible que necesites habilitar el modo Aventura o el modo Tú (en scripts de usuario). |
| Genérico | Los modelos genéricos no están entrenados para nada específico y normalmente se utilizan como base para otras tareas y modelos. Pueden hacer todo lo que pueden hacer los otros modelos, pero requieren mucho más agarre para funcionar correctamente. Los modelos genéricos son una base ideal para tareas para las que no tenemos un modelo específico o para experimentar un aviso suave en su forma original. |
KoboldAI tiene una gran cantidad de dependencias que necesitarás instalar en tu computadora, desafortunadamente Python no nos facilita brindar instrucciones que funcionen para todos. Las instrucciones a continuación funcionarán en la mayoría de las computadoras, pero si tiene varias versiones de Python instaladas, pueden ocurrir conflictos.
KoboldAI es una versión continua en nuestro github, el código que ves también es el juego. Puede descargar el software haciendo clic en el botón verde Código en la parte superior de la página y haciendo clic en Descargar ZIP, o use el comando git clone en su lugar. Luego, en Windows necesitas ejecutar install_requirements.bat (se recomienda usar el modo administrador para evitar errores) y, una vez hecho esto, o si estás en Linux, play.bat/sh o remote-play.bat/sh. para ejecutarlo.
La forma más sencilla para los usuarios de Windows es utilizar el instalador sin conexión a continuación.
KoboldAI ahora configurará automáticamente sus dependencias y se iniciará; todo está contenido en su propio tiempo de ejecución conda, por lo que no saturaremos su sistema. Los archivos se ubicarán en la subcarpeta de tiempo de ejecución. Si en algún momento desea forzar una reinstalación del tiempo de ejecución, puede hacerlo con el archivo install_requirements.sh. Si bien puedes ejecutar esto manualmente, no es necesario.
No podemos proporcionar una guía paso a paso para la instalación manual debido a las grandes diferencias entre la configuración del software existente y los sistemas de nuestros usuarios.
Si desea instalar KoboldAI manualmente, necesitará algunos conocimientos de administración de paquetes de Python/conda para realizar manualmente uno de los siguientes pasos:
Las GPU de AMD tienen un soporte informático terrible; actualmente, esto no funcionará en Windows y solo funcionará para unas pocas GPU de Linux seleccionadas. Puede encontrar una lista de GPU compatibles aquí. Se garantiza que cualquier GPU que no esté en la lista no funcionará con KoboldAI y no podremos brindar soporte adecuado en GPU que no sean compatibles con las versiones de ROCm que requerimos. Asegúrese de instalar primero ROCm en su sistema Linux usando una guía para su distribución, luego puede seguir las instrucciones habituales de Linux anteriores.
Hay varias cosas que pueden salir mal con la forma en que Python maneja sus dependencias; desafortunadamente, no tenemos soluciones directas paso a paso para cada escenario, pero hay algunas soluciones comunes que puede probar.
Esto SIEMPRE es un error de descarga/instalación o un conflicto con otras versiones de Python. Esto es muy común si los usuarios eligen la opción de subcarpeta durante la instalación mientras colocan KoboldAI en una ubicación que tiene espacios en la ruta. Cuando un antivirus bloquea la instalación o interfiere de otro modo con las descargas, sistemas con poco espacio en disco o cuando su sistema operativo no estaba configurado para rutas de archivos largas (el instalador hará esto en Windows 10 y superior si lo ejecuta como administrador, cualquier otra cosa). nuestros instaladores no admiten Windows 10).
Otra razón por la que la instalación puede haber fallado es si tiene instalaciones conflictivas de Python en su máquina, si presiona la tecla Windows + R e ingresa %appdata% en el cuadro de diálogo Ejecutar, se abrirá la carpeta Python instala dependencias en algunos sistemas. Si tiene una carpeta Python en esta ubicación, cambie el nombre de esta carpeta e intente ejecutar el instalador nuevamente. Ahora ya no debería quedarse atascado en las dependencias existentes. Prueba el juego y comprueba si funciona bien. Si es así, puede intentar cambiar el nombre de la carpeta para ver si sigue funcionando.
La tercera razón por la que la instalación puede haber fallado es si tiene conda/mamba en su sistema por otras razones, en ese caso le recomendamos eliminar sus instalaciones existentes de python/conda si no las necesita y probar nuestro instalador nuevamente. O usar conda con nuestros archivos de entorno incluidos para permitirle crear su tiempo de ejecución manualmente. Tenga en cuenta que si sigue la ruta manual NUNCA debe usar play.bat sino que debe ejecutar aiserver.py directamente .
En general, cuantas menos versiones de Python tenga en su sistema, mayores serán sus posibilidades de que se instale correctamente. Intentamos constantemente mitigar estos conflictos de instalación en nuestros instaladores, pero para algunos usuarios aún no podemos evitar todos los conflictos.
Los errores de GPU no encontrada pueden deberse a una de dos cosas: o no tienes una GPU Nvidia adecuada (necesita Compute Capability 5.0 o superior para poder reproducir KoboldAI). Su GPU Nvidia es compatible con KoboldAI pero no con la última versión de CUDA. Tu GPU Nvidia aún no es compatible con la última versión de CUDA o tienes un conflicto de dependencia como los mencionados anteriormente.
Al igual que con los conflictos de versiones de Python, recomendamos desinstalar CUDA de su sistema si lo instaló manualmente y no lo necesita para nada más e intentarlo nuevamente. Si su GPU necesita CUDA10 para funcionar, abra entornosfinetuneanon.yml y agregue una línea que diga - cudatoolkit=10.2 debajo de dependencias: . Después de esto, puede ejecutar el instalador nuevamente (elija la opción para eliminar los archivos existentes) y descargará una versión compatible con CUDA10.
Si no tienes una GPU Nvidia adecuada que pueda ejecutarse en CUDA10 o superior y que admita Compute Capabilities 5.0 o superior, no podemos ayudarte a detectar el juego en la GPU. A menos que estés siguiendo nuestra guía ROCm con una GPU AMD compatible.
Si recibe estos errores, no seleccionó la carpeta correcta para su modelo personalizado o el modelo que descargó no es (todavía) compatible con KoboldAI. Existen algunos modelos que son compatibles y proporcionan un archivo pytorch_model.bin pero no incluyen todos los archivos necesarios. En este caso, intente descargar un modelo compatible del mismo tipo (por ejemplo, otro GPT-Neo si descargó un modelo GPT-Neo) y reemplace el archivo pytorch_model.bin con el que está intentando ejecutar. Lo más probable es que esto funcione bien.
Los softprompts (también conocidos como módulos en otros productos) son complementos que pueden cambiar la salida de los modelos existentes. Por ejemplo, puede cargar un mensaje suave que predisponga la IA hacia un determinado tema y estilo, como transcripciones de su programa de televisión favorito.
Dado que estos avisos suaves a menudo se basan en franquicias existentes, actualmente no incluimos ninguno de ellos con KoboldAI debido a preocupaciones de derechos de autor (no queremos poner en riesgo todo el proyecto). En su lugar, consulte los recursos de la comunidad como #softprompts en KoboldAI Discord o el mirror alojado en la comunidad.
De esa manera, estamos mejor protegidos contra cualquier reclamo de DMCA, ya que las cosas se pueden eliminar más fácilmente que directamente en Github. Si tiene un mensaje de software libre de derechos de autor que creó desde cero y no se basa en una IP existente que le gustaría ver oficialmente incluido con KoboldAI, emita una solicitud de extracción con su mensaje de software.
El entrenamiento de softprompts se puede realizar de forma gratuita con Easy Softprompt Tuner; en ese caso, puede dejar la mayoría de las configuraciones predeterminadas. Sus datos de origen deben ser una carpeta con archivos de texto con formato UTF-8 y que contengan finales de línea Unix.
Los scripts de usuario son scripts que pueden automatizar tareas en KoboldAI o modificar el comportamiento/entrada/salida de la IA.
Las secuencias de comandos se realizan en LUA5.4 (no es necesario instalar Lua por separado siempre que cumpla con todos los requisitos de Python) y tiene espacio aislado para ayudarlo a protegerse contra comportamientos maliciosos. Incluso con estas medidas implementadas, le recomendamos encarecidamente que solo ejecute scripts de usuario desde lugares en los que confíe y/o entienda; de lo contrario, consulte a la comunidad para obtener consejos sobre qué tan seguro podría ser el script.
Dentro de la carpeta de scripts de usuario encontrará nuestros scripts kaipreset, estos son scripts predeterminados que creemos que serán útiles para nuestros usuarios. Estos scripts se sobrescriben automáticamente cuando actualiza KoboldAI. Si desea modificar estos scripts, asegúrese primero de cambiarles el nombre a otro que no contenga kaipreset para que los cambios no se pierdan. Estos scripts van desde un filtro You Bias que evita que la IA se dirija a los personajes como usted. Formas de poder evitar que la IA utilice palabras, reemplazos de palabras y más.
Junto con nuestros scripts preestablecidos, también enviamos ejemplos en la carpeta de ejemplos que sirven simplemente como demostración y no mejoran su uso de KoboldAI. Para utilizar estos scripts, asegúrese de sacarlos de la carpeta de ejemplos antes de utilizarlos o modificarlos.
Por último, todas las características de nuestra API de script de usuario están documentadas dentro de los archivos de documentación de la API dentro de la carpeta de scripts de usuario.
Para nuestras versiones de TPU, tenga en cuenta que los scripts que modifican el comportamiento de la IA se basan en una forma diferente de procesamiento que es más lenta que si deja estos scripts de usuario deshabilitados, incluso si su script solo usa este modificador esporádicamente. Si desea utilizar parcialmente un script a su máxima velocidad, puede habilitar "Sin modificadores de generación" para garantizar que las partes que ralentizarían la TPU no estén activas.
KoboldAI tiene una API REST a la que se puede acceder agregando /api a la URL que Kobold le proporciona (por ejemplo, http://127.0.0.1:5000/api).
Al acceder a este enlace en un navegador, accederá a la documentación interactiva.
Este proyecto contiene el trabajo de los siguientes colaboradores:
Además de varios creadores de modelos que serán enumerados cerca de sus modelos, ¡y todos los evaluadores que ayudaron a hacer esto posible!
¿Extrañamos su contribución? Siéntase libre de emitir un compromiso agregando su nombre a esta lista.
Koboldai tiene licencia con una licencia AGPL, en resumen, esto significa que cualquier persona puede usarla para cualquier propósito. Sin embargo, si decide hacer una instancia disponible públicamente, sus usuarios tienen derecho a una copia del código fuente que incluye todas las modificaciones que ha realizado (que debe estar disponible por una interfaz como un botón en su sitio web), también puede No distribuir este proyecto en un formulario que no contenga el código fuente (como compilar / encriptar el código y distribuir esta versión sin distribuir también el código fuente que incluye los cambios que realizó. Puede distribuir esto en un formulario cerrado Si también proporciona un archivo separado con el código fuente.).
Umamba.exe está incluido por conveniencia porque observamos que muchos de nuestros usuarios tenían problemas con los métodos de descarga de la línea de comandos, no es parte de nuestro proyecto y no cae bajo la licencia AGPL. Tiene licencia bajo la licencia de cláusula BSD-3. Otros archivos con licencias diferentes tendrán una referencia o una versión integrada de esta licencia dentro del archivo. Se ha obtenido de https://anaconda.org/conda-forge/micromamba/files y su código fuente se puede encontrar aquí: https://github.com/mamb-org/mamba/tree/master/micromamba
