KoboldAI Client
Looking for our latest KoboldAI product?
KoboldAI назван в честь программного обеспечения KoboldAI. В настоящее время наша новая и самая популярная программа — KoboldCpp.
Если вы читаете это сообщение, вы находитесь на странице оригинального программного обеспечения KoboldAI.
Предпочитаете использовать KoboldCpp с моделями GGUF и новейшими функциями API? Вы можете посетить https://koboldai.org/cpp.
Нужна поддержка новых моделей, таких как модели на основе Llama, использующие платформы Huggingface/Exllama (safetensors/pytorch)? Ознакомьтесь с версией разработки KoboldAI KoboldAI United на https://koboldai.org/united.
Это интерфейс на основе браузера для написания с помощью искусственного интеллекта с использованием нескольких локальных и удаленных моделей искусственного интеллекта. Он предлагает стандартный набор инструментов, включая «Память», «Заметки автора», «Информацию о мире», «Сохранить и загрузить», настраиваемые настройки AI, параметры форматирования и возможность импортировать существующие приключения AI Dungeon. Вы также можете включить режим приключений и играть в игру, подобную AI Dungeon Unleashed.
В «Истории» можно играть как в роман, текстовую приключенческую игру или использовать в качестве чат-бота с легким переключением между несколькими стилями игрового процесса. Это делает KoboldAI одновременно и помощником по написанию текстов, и игрой, и платформой для гораздо большего. То, как вы играете и насколько хорош будет ИИ, зависит от модели или сервиса, который вы решите использовать. Неважно, хотите ли вы использовать бесплатную и быструю мощь Google Colab, свою собственную высокопроизводительную видеокарту, онлайн-сервис, для которого у вас есть ключ API (например, OpenAI или Inferkit), или вы предпочитаете просто запускать его медленнее на своем процессоре. сможет найти способ использования KoboldAI, который подойдет именно вам.
По умолчанию KoboldAI будет работать в обычном режиме, оптимизированном для написания, но с правильной моделью вы можете без проблем играть в него, как в AI Dungeon. Вы можете включить это в настройках и использовать собственную подсказку, попробовать создать случайную подсказку или загрузить одну из подсказок, доступных в /aids/Prompts.
Геймплей будет немного отличаться от игрового процесса в AI Dungeon, поскольку мы приняли форк Type of the Unleashed, предоставляя вам полный контроль над всеми персонажами, поскольку мы не адаптируем ваши предложения автоматически за кулисами. Это означает, что вы можете более надежно управлять персонажами, которые не являются вами.
В результате то, что вам нужно вводить, немного отличается: в AI Dungeon вы должны ввести «возьми меч» , а в KoboldAI вы должны ввести это как предложение, например «Вы берете меч» , и это лучше всего делать со словом «Вы» вместо Я.
Проще говоря, введите: Вы говорите: «Наверное, сначала нам следует собрать кое-какие припасы».
Простое написание цитаты может сработать, но ИИ проявляет себя лучше всего, когда вы указываете, кто что делает в своих командах.
Если вы хотите сделать это со своими друзьями, мы советуем использовать главного героя как «Вы», а других персонажей — по их именам, если вы играете на модели, подготовленной для «Приключений». Эти модели предполагают, что в истории есть вы. Этот режим обычно не очень хорошо работает на моделях Novel, потому что они не знают, как обрабатывать вводимые данные. Их лучше всего использовать при написании обычных историй, когда вы по очереди работаете с ИИ.
Если вы хотите использовать KoboldAI в качестве помощника по написанию, лучше всего это делать в обычном режиме с моделью, оптимизированной для романов. Эти модели не предполагают, что существует ваш персонаж, и фокусируются на романе, как на написании. Их написание часто дает лучшие результаты, чем модели Adventure или Generic. Тем не менее, если вы дадите хорошее введение в историю, можно использовать большие общие модели, такие как 13B, если более конкретная модель недоступна для того, что вы хотите написать. Вы также можете попробовать использовать модели, которые не соответствуют тому, что вы хотите сделать, например, модель NSFW Novel для истории SFW, если модель SFW недоступна. Это будет означать, что вам придется чаще корректировать модель из-за ее предвзятости, но вы все равно сможете давать достаточно хорошие результаты, если она достаточно знакома с вашей темой.
В режиме чат-бота вы можете использовать подходящую модель в качестве чат-бота, этот режим автоматически добавляет ваше имя в начало предложений и не позволяет ИИ говорить так, как вы. Чтобы использовать его правильно, вы должны написать начало истории обоими символами в следующем формате (вы можете использовать свой собственный текст):
Bot : Hey!
You : Hey Boyname, how have you been?
Bot : Been good! How about you?
You : Been great to, excited to try out KoboldAI
Bot : KoboldAI is really fun!
You : For sure! What is your favorite game?
Рекомендуется, чтобы ваш собственный ввод был последним, особенно в начале, возможно, что ИИ перепутает имена. В этом случае повторите попытку или исправьте имя вручную. Это поведение улучшается по мере развития чата. Некоторые модели могут менять имена, если им более знакомо другое имя, похожее на имя, которое вы определили для бота. В этом случае вы можете либо время от времени вносить исправления вручную, либо выбрать имя для своего чат-бота, которое больше нравится ИИ.
Этот режим лучше всего работает либо с общей моделью, либо с моделью чат-бота, специально разработанной для нее; некоторые модели, такие как модель AvrilAI, вместо этого предназначены для использования в режиме приключений и не соответствуют приведенному выше формату. Эти модели обычно поставляются с включенным по умолчанию режимом приключений, и их не следует переключать в режим чат-бота.
Модели Novel или Adventure не рекомендуются для этой функции, но они все равно могут работать, но могут быстро отклонить формат разговора.
Если вы хотите бесплатно играть в KoboldAI онлайн на мощном компьютере, вы можете использовать Google Colaboraty. Мы предоставляем две версии: версию TPU и версию GPU, а также множество доступных моделей. Они полностью работают на серверах Google и автоматически загружают сохранения на ваш Google Диск, если вы решите сохранить историю (в качестве альтернативы вы можете вместо этого загрузить свое сохранение, чтобы оно никогда не сохранялось на Google Диске). Подробные инструкции по их использованию находятся внизу страницы Colab.
В каждой версии представлены разные модели и для работы требуется разное оборудование. Это означает, что если вы не можете получить TPU или GPU, вы все равно сможете использовать другую версию. Модели, которые вы можете использовать, перечислены под изданием. Чтобы открыть Colab, щелкните большую ссылку с названием издания.
| Модель | Стиль | Описание |
|---|---|---|
| Нерис от мистера Искателя | Роман/Приключение | Нерис — это гибридная модель, основанная на Пайке (более новая Джейнвей), помимо набора данных Пайка вы также получаете некоторые легкие романы, поддержку режима приключений и немного Шинэна, добавленного в смесь. Конечным результатом является очень разнообразная модель, которая сильно ориентирована на написание романов SFW, но которая может выйти за рамки обучения романам и стать отличной приключенческой моделью. В режим приключений лучше всего играть от второго лица, но в него можно играть и от первого или от третьего лица. Написание романа лучше всего вести от первого или третьего лица. |
| Эреб от мистера Искателя | НФВ | Erebus — это флагманская модель NSFW нашего сообщества, представляющая собой комбинацию нескольких больших наборов данных, включающих Literotica, Shinen и эротические романы от Nerys, и благодаря поддержке тегов охватывает подавляющее большинство стилей эротического письма. Эта модель способна заменить модели Lit и Shinen с точки зрения содержания и стиля и была хорошо принята как (одна из) лучших моделей NSFW. Если вы хотите использовать эту модель для коммерческого или неисследовательского использования, мы рекомендуем выбрать версию 20B, поскольку на нее не распространяется ограничительная лицензия OPT. |
| Джейнвей от мистера Искателя | Роман | Джейнвей — это модель, созданная на основе набора данных Пикарда в сочетании с совершенно новой коллекцией электронных книг. Эта модель обучена на 20% большему количеству контента, чем Пикард, и обучена на литературе разных жанров. Хотя модель в основном ориентирована на SFW, романтические сцены могут включать в себя определенную степень обнаженности. |
| Шинен от мистера Искателя | НФВ | Шинэн — модель NSFW, обученная на различных историях с сайта Sexstories, которые содержат множество разных изломов. Он был объединен с более крупной (и лучшей) моделью Erebus. |
| Моток от VE_FORBRYDERNE | Приключение | Skein лучше всего использовать с включенным режимом Adventure. Он состоит из набора приключенческих данных, в 4 раза большего, чем модель Adventure, что делает его идеальным для текстовых приключенческих игр. Кроме того, он также включает в себя обучение легким романам, что еще больше расширяет его знания и писательские способности. Его можно использовать с фильтром «Вы», если вы хотите писать с его помощью романы, но специальные модели романов могут лучше подойти для этой задачи. |
| Приключение от VE_FORBRYDERNE | Приключение | Adventure — это модель 6B, имитирующая поведение AI Dungeon. Он предназначен исключительно для режима приключений и может отправить вас в эпические и дурацкие приключения, которые так нравятся игрокам AI Dungeon. В нем также присутствуют многие черты AI Dungeon, поскольку оно было обучено на очень похожих данных. Его необходимо использовать от второго лица (Вы). |
| Горит (V2) Хару | НФВ | Lit — отличная модель NSFW, обученная Хару как на большом наборе рассказов Literotica, так и на высококачественных романах, а также с поддержкой тегов. Создание высококачественной модели для ваших историй NSFW. Эта модель является исключительно новой, и ее лучше всего использовать от третьего лица. |
| ОПТ от Metaseq | Общий | OPT считается одной из лучших базовых моделей с точки зрения контента, ее поведение имеет сильные стороны как GPT-Neo, так и Fairseq Dense. По сравнению с Neo дублированный и ненужный контент был исключен, а дополнительная литература была добавлена аналогично модели Fairseq Dense. Однако в модели Fairseq Dense отсутствуют более широкие данные, которыми располагает OPT. Самым большим недостатком OPT является его лицензия, которая запрещает любое коммерческое использование или использование, выходящее за рамки исследовательских целей. |
| Neo(X) от EleutherAI | Общий | NeoX — крупнейшая доступная в настоящее время модель EleutherAI. Будучи универсальной моделью, она ни к чему особо не обучена и может выполнять различные задачи по написанию, вопросам и ответам и кодированию. Производительность 20B во многом сравнима с моделями 13B, и стоит попробовать обе модели, особенно если у вас есть задача, не требующая письма на английском языке. Его поведение будет похоже на модель GPT-J-6B, поскольку они обучаются на том же наборе данных, но с большей чувствительностью к штрафам за повторение и с большим объемом знаний. |
| Fairseq Плотный | Общий | Эта модель, разработанная исследователями Facebook, основана на исследовательском проекте Министерства образования в рамках Fairseq. Эта конкретная версия была преобразована нами для использования в KoboldAI. Известно, что он находится на одном уровне с более крупной моделью 20B от EleutherAI и считается лучшим для поп-культурных и языковых задач. Поскольку модель никогда не видела новую строку (ввод), она может работать хуже при форматировании и разбиении на абзацы. По сравнению с другими моделями набор данных ориентирован в первую очередь на литературу и мало что содержит. |
| GPT-J-6B от EleutherAI | Общий | Эта модель служит основой для большинства других моделей 6B (некоторые вместо этого основаны на Fairseq Dense). Будучи обученным работе с Pile и не предвзятым к чему-либо конкретному, он подходит для различных задач, таких как письмо, вопросы и ответы и задачи кодирования. Скорее всего, вы получите лучший результат при использовании более крупных общих моделей или точно настроенных моделей. |
| Модель | Стиль | Описание |
|---|---|---|
| Нерис от мистера Искателя | Роман/Приключение | Нерис — это гибридная модель, основанная на Пайке (более новая Джейнвей), помимо набора данных Пайка вы также получаете некоторые легкие романы, поддержку режима приключений и немного Шинэна, добавленного в смесь. Конечным результатом является очень разнообразная модель, которая сильно ориентирована на написание романов SFW, но которая может выйти за рамки обучения романам и стать отличной приключенческой моделью. В режим приключений лучше всего играть от второго лица, но в него можно играть и от первого или от третьего лица. Написание романа лучше всего вести от первого или третьего лица. |
| Tiefighter 13B от KoboldAI | Гибридный | Tiefighter 13B — очень универсальный фантастический гибрид, он может писать, общаться и играть в приключенческие игры, а также отвечать на обычные инструкции (хотя мы не рекомендуем эту модель для фактического использования из-за ее вымышленного характера). Это отличная стартовая модель. Для достижения наилучших результатов избегайте использования письма от второго лица в своих чатах, если только вы не хотите, чтобы это превратилось в текстовое приключение. |
| Джейнвей от мистера Искателя | Роман | Джейнвей — это модель, созданная на основе набора данных Пикарда в сочетании с совершенно новой коллекцией электронных книг. Эта модель обучена на 20% большему количеству контента, чем Пикард, и обучена на литературе разных жанров. Хотя модель в основном ориентирована на SFW, романтические сцены могут включать в себя определенную степень обнаженности. |
| Пикард от мистера Искателя | Роман | Пикард — модель, обученная для SFW Novels на основе Neo 2.7B. Он ориентирован на написание романов без предвзятости NSFW. Хотя название предполагает научно-фантастическую модель, эта модель предназначена для романов самых разных жанров. Он предназначен для использования в обычном режиме KoboldAI. |
| ПОМОЩЬ от melastacho | Приключение | Также известная как Adventure 2.7B, это клон модели AI Dungeon Classic, наиболее известная своими эпическими дурацкими приключениями, которые так нравятся игрокам AI Dungeon Classic. |
| ОПТ от Metaseq | Общий | OPT считается одной из лучших базовых моделей с точки зрения контента, ее поведение имеет сильные стороны как GPT-Neo, так и Fairseq Dense. По сравнению с Neo дублированный и ненужный контент был исключен, а дополнительная литература была добавлена аналогично модели Fairseq Dense. Однако в модели Fairseq Dense отсутствуют более широкие данные, которыми располагает OPT. Самым большим недостатком OPT является его лицензия, которая запрещает любое коммерческое использование или использование, выходящее за рамки исследовательских целей. |
| Fairseq Плотный | Общий | Эта модель, разработанная исследователями Facebook, основана на исследовательском проекте Министерства образования в рамках Fairseq. Эта конкретная версия была преобразована нами для использования в KoboldAI. Известно, что он находится на одном уровне с более крупными моделями EleutherAI и считается лучшим для поп-культуры и языковых задач. Поскольку модель никогда не видела новую строку (ввод), она может работать хуже при форматировании и разбиении на абзацы. По сравнению с другими моделями набор данных ориентирован в первую очередь на литературу и мало что содержит. |
| MythoMax 13B от Gryphe | Ролевые игры | Улучшенный, потенциально даже усовершенствованный вариант MythoMix, мой MythoLogic-L2 и Huginn объединяются с использованием весьма экспериментальной техники слияния тензорного типа¹. |
| Голомакс 13B от KoboldAI | Приключение | Это расширение получившей высокую оценку модели MythoMax от Gryphe (60%) с использованием модели KoboldAI Holodeck от MrSeeker (40%). Цель этой модели — расширить возможности написания историй, максимально сохранив при этом желаемые черты модели MythoMax (она ограничивает длину ответа в чате). |
| «Айроборос 13B», Джон Дурбин | Общий | Это модель ламы-2 с точной настройкой инструкций, в которой используются синтетические инструкции, сгенерированные airoboros⁵. |
| Эмерхист 13Б от Унди | Ролевые игры | Попытка использования BlockMerge_Gradient для получения лучшего результата. Кроме того, использовался LimaRP v3⁷. |
| Хронос 13Б от Элинас | Общий | Эта модель в первую очередь ориентирована на чат, ролевые игры и написание историй, но может выполнять и другие задачи, такие как простое рассуждение и программирование. Chronos генерирует очень длинные выходные данные со связным текстом, во многом благодаря вводу данных человеком, на котором он обучался. |
| Весенний дракон от Henk717 | Приключение | Эта модель представляет собой попытку воссоздания модели AI Dungeon 2 Dragon. Для этого использовался набор данных «text_adventures.txt», который был включен в исходную версию AI Dungeon 2 на GitHub до появления онлайн-сервиса. Стоит отметить, что для создания модели Dragon использовался тот же файл набора данных, где Dragon — это модель GPT-3 175B Davinci 2020 года. |
| Голопалуба от KoboldAI | Приключение | LLAMA2 13B-Holodeck — это тонкая настройка, созданная с использованием модели Meta 2 llama. Обучающие данные содержат около 3000 электронных книг различных жанров. Большинство частей набора данных были добавлены с использованием следующего текста: [Жанр: , |
| Нео от EleutherAI | Общий | Это базовая модель для всех остальных моделей 2.7B. Ее лучше всего использовать, когда у вас есть вариант использования, для которого у нас нет других моделей, например написание статей в блогах или программирование. Это также может стать хорошей основой для опыта работы с некоторыми программными подсказками, если ваша программная подсказка не касается темы, охватываемой другими моделями. |
| Различные модели 2.7b от разных | В Colab также можно загрузить различные модели меньшего размера. |
| Тип | Описание |
|---|---|
| Роман | Для обычного написания историй, несовместимого с режимом «Приключение» или другими специальными режимами. |
| НФВ | Указывает на то, что модель сильно ориентирована на контент NSFW и не подходит для детей, рабочей среды или прямых трансляций. Большинство моделей NSFW также являются новыми моделями по своей природе. |
| Приключение | Эти модели отлично подходят для людей, желающих играть в KoboldAI как в текстовую приключенческую игру, и предназначены для использования с включенным режимом приключений. Даже если вы хотите использовать ее в качестве модели типа романа, вам всегда следует включать режим приключений и устанавливать для него сюжет. Эти модели обычно имеют сильную предвзятость к использованию слова «Вы» и без включенного режима приключений прерывают ход истории и пишут действия от вашего имени. |
| Гибридный | Гибридные модели представляют собой смесь разных типов, например, они обучаются как на романах, так и на приключенческих историях. Эти модели представляют собой большое разнообразие моделей, которые вы можете использовать для разных типов и режимов игры, но в зависимости от вашего использования вам может потребоваться включить режим приключений или предвзятость «Вы» (в пользовательских скриптах). |
| Общий | Общие модели не обучаются чему-то конкретному и обычно используются в качестве основы для других задач и моделей. Они могут делать все, что могут другие модели, но для правильной работы требуется гораздо больше ручного управления. Общие модели являются идеальной основой для задач, для которых у нас нет конкретной модели, или для использования программных подсказок в их необработанной форме. |
KoboldAI имеет большое количество зависимостей, которые вам нужно будет установить на свой компьютер, но, к сожалению, Python не позволяет нам легко предоставить инструкции, которые подойдут всем. Приведенные ниже инструкции будут работать на большинстве компьютеров, но если у вас установлено несколько версий Python, могут возникнуть конфликты.
KoboldAI — это постоянно обновляющийся релиз на нашем github, код, который вы видите, — это тоже игра. Вы можете загрузить программное обеспечение, нажав зеленую кнопку «Код» в верхней части страницы и нажав «Загрузить ZIP», или вместо этого использовать команду git clone . Затем в Windows вам нужно запустить install_requirements.bat (во избежание ошибок рекомендуется использовать режим администратора), и как только это будет сделано, или если вы используете Linux, либо play.bat/sh, либо Remote-play.bat/sh. чтобы запустить его.
Самый простой способ для пользователей Windows — использовать автономный установщик, указанный ниже.
KoboldAI теперь автоматически настроит свои зависимости и запустится. Все содержится в собственной среде выполнения conda, поэтому мы не будем загромождать вашу систему. Файлы будут расположены в подпапке среды выполнения. Если в какой-то момент вы захотите принудительно переустановить среду выполнения, вы можете сделать это с помощью файла install_requirements.sh. Хотя вы можете запустить это вручную, в этом нет необходимости.
Мы не можем предоставить пошаговое руководство по установке вручную из-за огромных различий между существующей конфигурацией программного обеспечения и системами наших пользователей.
Если вы хотите вручную установить KoboldAI, вам потребуются некоторые знания управления пакетами Python/conda, чтобы вручную выполнить один из следующих шагов:
Графические процессоры AMD имеют ужасную вычислительную поддержку, в настоящее время она не работает в Windows и будет работать только с некоторыми избранными графическими процессорами Linux. Список совместимых графических процессоров можно найти здесь. Любой графический процессор, не указанный в списке, гарантированно не будет работать с KoboldAI, и мы не сможем обеспечить надлежащую поддержку графических процессоров, несовместимых с необходимыми нам версиями ROCm. Обязательно сначала установите ROCm в вашей системе Linux, используя руководство для вашего дистрибутива, после чего вы можете следовать обычным инструкциям по Linux, приведенным выше.
Есть множество вещей, которые могут пойти не так с тем, как Python обрабатывает свои зависимости. К сожалению, у нас нет прямых пошаговых решений для каждого сценария, но есть несколько распространенных решений, которые вы можете попробовать.
Это ВСЕГДА либо сбой загрузки/установки, либо конфликт с другими версиями Python. Это очень распространено, если пользователи во время установки выбрали опцию подпапки, помещая KoboldAI в место, в пути которого есть пробелы. Когда антивирус помещает установку в песочницу или иным образом мешает загрузкам, в системах с нехваткой места на диске или когда ваша операционная система не настроена для длинных путей к файлам (установщик сделает это в Windows 10 и выше, если вы запустите его от имени администратора, что-либо еще чем Windows 10 не поддерживается нашими установщиками).
Другая причина, по которой установка могла завершиться неудачно, заключается в том, что если на вашем компьютере есть конфликтующие установки Python, то если вы нажмете клавиши Windows + R и введете %appdata% в диалоговом окне «Выполнить», откроется папка, в которой Python устанавливает зависимости в некоторых системах. Если у вас есть папка Python в этом месте, переименуйте эту папку и попробуйте снова запустить установщик. Теперь он больше не должен зацикливаться на существующих зависимостях. Попробуйте игру и проверьте, работает ли она хорошо. Если это так, вы можете попробовать переименовать папку обратно, чтобы проверить, продолжает ли она работать.
Третья причина, по которой установка могла завершиться неудачей, заключается в том, что в вашей системе есть conda/mamba по другим причинам. В этом случае мы рекомендуем либо удалить существующие установки python/conda, если они вам не нужны, и снова протестировать наш установщик. Или использовать саму conda с нашими встроенными файлами среды, чтобы позволить ей создавать среду выполнения вручную. Имейте в виду, что если вы пойдете по ручному пути, вам НИКОГДА не следует использовать play.bat, а вместо этого следует напрямую запускать aiserver.py .
В общем, чем меньше версий Python в вашей системе, тем выше ваши шансы на правильную установку. Мы постоянно пытаемся смягчить эти конфликты установки в наших программах установки, но для некоторых пользователей мы пока не можем избежать всех конфликтов.
Ошибки «ГП не найден» могут быть вызваны одной из двух причин: либо у вас нет подходящего графического процессора Nvidia (для игры в KoboldAI необходимы вычислительные возможности 5.0 или выше). Ваш графический процессор Nvidia поддерживается KoboldAI, но не поддерживается последней версией CUDA. Ваш графический процессор Nvidia еще не поддерживается последней версией CUDA или у вас возник конфликт зависимостей, подобный упомянутому выше.
Как и в случае с конфликтами версий Python, мы рекомендуем удалить CUDA из вашей системы, если вы установили его вручную и он больше ни для чего не нужен, и повторить попытку. Если для работы вашего графического процессора требуется CUDA10, откройте Environmentsfinetuneanon.yml и добавьте строку — cudatoolkit=10.2 под зависимостями: . После этого вы можете снова запустить установщик (выберите вариант удаления существующих файлов), и он загрузит версию, совместимую с CUDA10.
Если у вас нет подходящего графического процессора Nvidia, который может работать на CUDA10 или выше и поддерживает вычислительные возможности 5.0 или выше, мы не сможем помочь вам обнаружить игру на графическом процессоре. Если только вы не следуете нашему руководству по ROCm с совместимым графическим процессором AMD.
Если вы получаете эти ошибки, значит, вы либо не выбрали правильную папку для своей пользовательской модели, либо загруженная вами модель (пока) несовместима с KoboldAI. Существует несколько совместимых моделей, которые предоставляют файл pytorch_model.bin, но не поставляют все необходимые файлы. В этом случае попробуйте загрузить совместимую модель того же типа (например, другую GPT-Neo, если вы загрузили модель GPT-Neo) и замените файл pytorch_model.bin тем, который вы пытаетесь запустить. Скорее всего, это сработает нормально.
Программные подсказки (также известные как модули в других продуктах) — это надстройки, которые могут изменять выходные данные существующих моделей. Например, вы можете загрузить программную подсказку, которая смещает ИИ в сторону определенной темы и стиля, например стенограммы вашего любимого телешоу.
Поскольку эти программные подсказки часто основаны на существующих франшизах, в настоящее время мы не объединяем ни одну из них с KoboldAI из-за проблем с авторскими правами (мы не хотим подвергать риску весь проект). Вместо этого посмотрите ресурсы сообщества, такие как #softprompts, на KoboldAI Discord или на зеркале, размещенном сообществом.
Таким образом, мы лучше защищены от любых претензий DMCA, поскольку все можно удалить проще, чем напрямую на Github. Если у вас есть программное приглашение без авторских прав, которое вы создали с нуля и не основано на существующем IP-адресе, который вы хотели бы видеть официально включенным в состав KoboldAI, отправьте запрос на включение вместе с вашим программным приглашением.
Обучающие программные подсказки можно создавать бесплатно с помощью Easy Softprompt Tuner, в этом случае вы можете оставить большинство настроек по умолчанию. Исходные данные должны представлять собой папку с текстовыми файлами в формате UTF-8 и содержать окончания строк Unix.
Пользовательские скрипты — это скрипты, которые могут автоматизировать задачи в KoboldAI или изменять поведение/ввод/вывод ИИ.
Сценарии выполняются в LUA5.4 (Lua не требует отдельной установки, если вы выполнили все требования Python) и имеет песочницу, помогающую защитить вас от вредоносного поведения. Даже при наличии этих мер мы настоятельно рекомендуем вам запускать пользовательские скрипты только из тех мест, которым вы доверяете и/или понимаете, в противном случае обратитесь к сообществу за советом о том, насколько безопасным может быть скрипт.
Внутри папки пользовательских сценариев вы найдете наши сценарии kaipreset. Это сценарии по умолчанию, которые, по нашему мнению, будут полезны для наших пользователей. Эти сценарии автоматически перезаписываются при обновлении KoboldAI. Если вы хотите изменить эти сценарии, обязательно сначала переименуйте их во что-то другое, не содержащее kaipreset, чтобы ваши изменения не были потеряны. Эти сценарии варьируются от фильтра You Bias, который не позволяет ИИ обращаться к персонажам так же, как вы. Способы запретить ИИ использовать слова, замены слов и многое другое.
Наряду с нашими предустановленными сценариями мы также поставляем примеры в папке примеров, которые служат просто демонстрацией и не улучшают ваше использование KoboldAI. Чтобы использовать эти сценарии, обязательно переместите их из папки примеров, прежде чем использовать или изменять сценарий.
Наконец, все функции нашего API пользовательских сценариев описаны в файлах документации API в папке пользовательских сценариев.
Для наших версий TPU имейте в виду, что сценарии, изменяющие поведение ИИ, основаны на другом способе обработки, который медленнее, чем если бы вы оставили эти пользовательские сценарии отключенными, даже если ваш сценарий использует этот модификатор лишь время от времени. Если вы хотите частично использовать сценарий на полной скорости, вы можете включить «Без модификаторов поколения», чтобы гарантировать, что части, которые замедляют работу TPU, не активны.
У KoboldAI есть REST API, доступ к которому можно получить, добавив /api к URL-адресу, предоставленному вам Kobold (например, http://127.0.0.1:5000/api).
При доступе к этой ссылке в браузере вы попадете в интерактивную документацию.
Этот проект содержит работы следующих участников:
А также различные создатели модели, которые будут перечислены рядом с их моделями, и всех тестеров, которые помогли сделать это возможным!
Мы пропустили ваш вклад? Не стесняйтесь выпустить коммит, добавляя свое имя в этот список.
Koboldai имеет лицензию с лицензией AGPL, короче говоря, это означает, что он может использоваться любым для любой цели. Однако, если вы решите сделать общедоступный экземпляр, которые ваши пользователи имеют право на копию исходного кода, включая все модификации, которые вы внесли (который должен быть доступным для интерфейса, такой как кнопка на вашем веб -сайте), вы также можете также Не распространять этот проект в форме, которая не содержит исходного кода (например, составление / шифрование кода и распределение этой версии без распределения исходного кода, который включает в себя изменения, которые вы внесли. Вам разрешено распространять это в закрытой форме Если вы также предоставите отдельный Архив с исходным кодом.).
Umamba.exe в комплекте для удобства, потому что мы заметили, что у многих из наших пользователей были проблемы с методами загрузки командной строки, он не является частью нашего проекта и не подпадает под лицензию AGPL. Он имеет лицензию по лицензии BSD-3-CLAUSE. Другие файлы с разными лицензиями будут иметь ссылку или встроенную версию этой лицензии в файле. Он был получен с https://anaconda.org/conda-forge/micromamba/files, и его исходный код можно найти здесь: https://github.com/mamba-org/mamba/tree/master/micromamba.
