KoboldAI Client

正在寻找 KoboldCpp？

KoboldAI以KoboldAI软件命名，目前我们较新的最受欢迎的程序是KoboldCpp。

如果您正在阅读此消息，您正在访问原始 KoboldAI 软件的页面。

更喜欢将 KoboldCpp 与 GGUF 模型和最新的 API 功能一起使用？您可以访问 https://koboldai.org/cpp

需要支持较新的模型，例如使用 Huggingface / Exllama (safetensors/pytorch) 平台的基于 Llama 的模型？查看 KoboldAI 的开发版本 KoboldAI United，网址为 https://koboldai.org/united

KoboldAI - 您通往 GPT 写作的门户

这是一个基于浏览器的前端，用于具有多个本地和远程人工智能模型的人工智能辅助写作。它提供了一系列标准工具，包括内存、作者注释、世界信息、保存和加载、可调整的 AI 设置、格式选项以及导入现有 AI Dungeon 冒险的功能。您还可以打开冒险模式并玩《AI Dungeon Unleashed》等游戏。

多种玩法

故事可以像小说、文本冒险游戏一样玩，也可以用作聊天机器人，可以轻松切换以在多种游戏风格之间进行切换。这使得 KoboldAI 既是一个写作助手、一款游戏，也是一个具有更多功能的平台。您的游戏方式以及人工智能的性能取决于您决定使用的模型或服务。无论您是想使用免费、快速的 Google Colab、您自己的高端显卡、您拥有 API 密钥的在线服务（如 OpenAI 或 Inferkit），还是您只想在您的 CPU 上以较慢的速度运行它，您都可以使用它。将能够找到一种适合您的使用 KoboldAI 的方法。

冒险模式

默认情况下，KoboldAI 将以针对写作而优化的通用模式运行，但使用正确的模型，您可以像 AI Dungeon 一样玩它，而不会出现任何问题。您可以在设置中启用此功能并自带提示，尝试生成随机提示或下载 /aids/ Prompts 中提供的提示之一。

游戏玩法将与 AI Dungeon 中的游戏玩法略有不同，因为我们采用了 Unleashed 叉子的类型，让您可以完全控制所有角色，因为我们不会在幕后自动调整您的句子。这意味着您可以更可靠地控制不是您的角色。

因此，您需要输入的内容略有不同，在 AI Dungeon 中，您会输入take the Sword，而在 KoboldAI 中，您会输入类似句子“ You take the Sword”的内容，最好使用“You”一词，而不是我。

简单来说，输入：您说“我们应该首先收集一些物资”
只需输入引用可能会起作用，但当您在命令中指定谁执行什么操作时，人工智能才能发挥最佳效果。

如果您想与您的朋友一起玩，我们建议您使用主角作为您，并使用其他角色的名字（如果您正在玩经过冒险训练的模型）。这些模型假设故事中有一个“你”。这种模式通常在小说模型上表现不佳，因为它们不知道如何处理最适合与人工智能轮流编写常规故事的输入。

写作助理

如果您想使用 KoboldAI 作为写作助手，最好在常规模式下使用针对小说优化的模型来完成。这些模型并不假设存在“You”角色，而是专注于小说式的写作。编写这些模型通常会给您带来比冒险或通用模型更好的结果。也就是说，如果您对故事有一个很好的介绍，如果没有更具体的模型可用于您希望编写的内容，则可以使用 13B 等大型通用模型。您还可以尝试使用不特定于您想要执行的操作的模型，例如，如果 SFW 模型不可用，则将 NSFW 小说模型用于 SFW 故事。这意味着您将不得不更频繁地纠正模型，因为它存在偏差，但如果它足够熟悉您的主题，仍然可以产生足够好的结果。

聊天机器人模式

在聊天机器人模式下，您可以使用合适的模型作为聊天机器人，该模式会自动将您的名字添加到句子的开头，并防止人工智能像您一样说话。要正确使用它，您必须按照以下格式将故事开头写为两个字符（您可以使用您自己的文本）：

 Bot : Hey!
You : Hey Boyname, how have you been?
Bot : Been good! How about you?
You : Been great to, excited to try out KoboldAI
Bot : KoboldAI is really fun!
You : For sure! What is your favorite game?

建议将您自己的输入作为最后一个输入，尤其是在开始时，AI 可能会混淆名称。在这种情况下，请重试或手动更正名称。随着聊天的进行，这种行为会得到改善。如果某些模型更熟悉与您为机器人定义的名称相似的不同名称，他们可能会交换名称。在这种情况下，您可以偶尔进行手动更正，或者为您的聊天机器人选择一个人工智能更喜欢的名称。

此模式在通用模型或专门为其设计的聊天机器人模型上效果最佳，但某些模型（例如 AvrilAI 模型）被设计用于冒险模式，并且不符合上述格式。这些模型通常默认启用冒险模式，不应切换到聊天机器人模式。

不建议使用小说或冒险模型使用此功能，但可能仍然有效，但可能会很快脱离对话格式。

在 Google Colab 上免费在线玩 KoboldAI（最简单的游戏方式）

如果您想在功能强大的计算机上免费在线玩 KoboldAI，您可以使用 Google Colaboraty。我们提供两个版本，TPU 和 GPU 版本，有多种型号可供选择。它们完全在 Google 的服务器上运行，如果您选择保存故事，它们会自动将保存的内容上传到您的 Google 云端硬盘（或者，您也可以选择下载您的保存内容，这样它就不会存储在 Google 云端硬盘上）。有关如何使用它们的详细说明位于 Colab 的底部。

每个版本都有不同的型号，需要不同的硬件才能运行，这意味着如果您无法获得 TPU 或 GPU，您仍然可以使用其他版本。您可以使用的型号列在版本下方。要打开 Colab，请单击包含版本名称的大链接。

TPU可以运行的型号：

模型	风格	描述
内里斯 (Nerys)，作者：探索者先生 (Mr Seeker)	小说/冒险	Nerys 是一个基于 Pike（较新的 Janeway）的混合模型，在 Pike 数据集之上，您还可以获得一些轻小说、冒险模式支持以及一些 Shinen 的支持。最终的结果是一个非常多样化的模型，它严重偏向于 SFW 小说写作，但它可以超越其小说训练并成为一个优秀的冒险模型。冒险模式最好从第二人称视角玩，但也可以以第一人称或第三人称视角玩。小说写作最好以第一人称或第三人称完成。
探索者先生的埃里伯斯	国家科学基金会	Erebus 是我们社区的旗舰 NSFW 模型，它是多个大型数据集的组合，包括 Literotica、Shinen 和 Nerys 的情色小说，并具有全面的标签支持，涵盖了绝大多数情色写作风格。该模型在内容和风格方面能够取代 Lit 和 Shinen 模型，并作为最好的 NSFW 模型（之一）而广受好评。如果您希望将此模型用于商业或非研究用途，我们建议选择 20B 版本，因为该版本不受限制性 OPT 许可证的约束。
《探索者先生》的《珍妮威》	小说	Janeway 是根据 Picard 的数据集与全新的电子书合集创建的模型。该模型接受的训练内容比 Picard 多 20%，并且接受了各种流派的文学训练。尽管该模特主要关注上班族，但浪漫场景可能会涉及一定程度的裸体。
Mr Seeker 的 Shinen	国家科学基金会	Shinen 是一个 NSFW 模型，接受过 Sexstories 网站上各种故事的训练，其中包含许多不同的问题。它已被合并到更大（更好）的 Erebus 模型中。
VE_FORBRYDERNE 的绞纱	冒险	Skein 最好在启用冒险模式的情况下使用，它包含比冒险模型大 4 倍的冒险数据集，非常适合文本冒险游戏。除此之外，还包括轻小说训练，进一步扩展其知识和写作能力。如果您想用它来写小说，它可以与您过滤器偏差一起使用，但专用的小说模型可以更好地完成此任务。
VE_FORBRYDERNE 的冒险	冒险	Adventure 是一个 6B 模型，旨在模仿 AI Dungeon 的行为。它专为冒险模式而设计，可以带您踏上 AI Dungeon 玩家喜爱的史诗般古怪的冒险之旅。它还具有 AI Dungeon 的许多特征，因为它是在非常相似的数据上进行训练的。必须以第二人称（您）使用。
Haru 点亮 (V2)	国家科学基金会	Lit 是一个出色的 NSFW 模型，由 Haru 在大量 Literotica 故事和高质量小说以及标签支持上进行训练。为您的 NSFW 故事创建高质量模型。该模型完全是一种新颖的模型，最好在第三人称中使用。
Metaseq 的 OPT	通用的	就内容而言，OPT 被认为是最好的基础模型之一，其行为具有 GPT-Neo 和 Fairseq Dense 的优点。与 Neo 相比，重复和不必要的内容被删除，同时添加了与 Fairseq Dense 模型类似的额外文献。然而，Fairseq Dense 模型缺乏 OPT 所拥有的更广泛的数据。 OPT 最大的缺点是它的许可证，它禁止任何商业用途或超出研究目的的用途。
EleutherAI 的 Neo(X)	通用的	NeoX 是目前可用的最大的 EleutherAI 模型，作为一个通用模型，它没有经过专门的训练，可以执行各种写作、问答和编码任务。 20B 的性能与 13B 模型非常接近，两者都值得尝试，特别是如果您的任务不涉及英语写作。其行为与 GPT-J-6B 模型类似，因为它们是在相同的数据集上进行训练的，但对重复惩罚更敏感，并且知识更多。
Fairseq 密集	通用的	该模型由 Facebook 研究人员训练，源自 Fairseq 内的 MOE 研究项目。我们已将这个特定版本转换为在 KoboldAI 中使用。众所周知，它与 EleutherAI 的较大 20B 模型相当，并且被认为更适合流行文化和语言任务。由于模型从未见过新行（输入），因此它在格式化和段落方面可能表现较差。与其他模型相比，该数据集主要关注文献，几乎不包含其他内容。
EleutherAI 的 GPT-J-6B	通用的	该模型是大多数其他 6B 模型的基础（有些模型基于 Fairseq Dense）。经过 Pile 训练，不偏向于任何特定事物，它适合各种任务，例如写作、问答和编码任务。使用更大的通用模型或微调模型可能会获得更好的结果。

Colab GPU 可以运行的模型：

模型	风格	描述
内里斯 (Nerys)，作者：探索者先生 (Mr Seeker)	小说/冒险	Nerys 是一个基于 Pike（较新的 Janeway）的混合模型，在 Pike 数据集之上，您还可以获得一些轻小说、冒险模式支持以及一些 Shinen 的支持。最终的结果是一个非常多样化的模型，它严重偏向于 SFW 小说写作，但它可以超越其小说训练并成为一个出色的冒险模型。冒险模式最好从第二人称视角玩，但也可以以第一人称或第三人称视角玩。小说写作最好以第一人称或第三人称完成。
KoboldAI 的 Tiefighter 13B	杂交种	Tiefighter 13B 是一款非常多功能的虚构混合体，它可以编写、聊天和玩冒险游戏，还可以回答常规指令（尽管由于其虚构性质，我们不推荐该模型用于实际使用）。这是一个很好的起始模型，为了获得最佳结果，请避免在聊天中使用第二人称写作，除非您希望它成为文本冒险。
《探索者先生》的《珍妮威》	小说	Janeway 是根据 Picard 的数据集与全新的电子书合集创建的模型。该模型接受的训练内容比 Picard 多 20%，并且接受了各种流派的文学训练。尽管该模特主要关注上班族，但浪漫场景可能会涉及一定程度的裸体。
皮卡德（Picard），作者：探索者先生	小说	Picard是基于Neo 2.7B为SFW小说训练的模型。它专注于小说风格的写作，没有 NSFW 偏见。虽然名字暗示了科幻模型，但该模型是为各种类型的小说设计的。它旨在用于 KoboldAI 的常规模式。
由 melastacho 提供的援助	冒险	也称为 Adventure 2.7B，它是 AI Dungeon Classic 模型的克隆，以 AI Dungeon Classic 玩家喜爱的史诗般的古怪冒险而闻名。
Metaseq 的 OPT	通用的	就内容而言，OPT 被认为是最好的基础模型之一，其行为具有 GPT-Neo 和 Fairseq Dense 的优点。与 Neo 相比，重复和不必要的内容被删除，同时添加了与 Fairseq Dense 模型类似的额外文献。然而，Fairseq Dense 模型缺乏 OPT 所拥有的更广泛的数据。 OPT 最大的缺点是它的许可证，它禁止任何商业用途或超出研究目的的用途。
Fairseq 密集	通用的	该模型由 Facebook 研究人员训练，源自 Fairseq 内的 MOE 研究项目。我们已将这个特定版本转换为在 KoboldAI 中使用。众所周知，它与 EleutherAI 的较大模型相当，并且被认为更适合流行文化和语言任务。由于模型从未见过新行（输入），因此它在格式化和段落方面可能表现较差。与其他模型相比，该数据集主要关注文献，几乎不包含其他内容。
Gryphe 的 MythoMax 13B	角色扮演	MythoMix 的改进版，甚至可能是完美的变体，我的 MythoLogic-L2 和 Huginn 使用高度实验性的张量类型合并技术进行合并。
Holomax 13B 由 KoboldAI	冒险	这是使用 MrSeeker 的 KoboldAI Holodeck 模型 (40%) 对 Gryphe (60%) 广受好评的 MythoMax 模型的扩展合并。该模型的目标是增强故事写作能力，同时尽可能保留 MythoMax 模型的理想特征（它确实限制了聊天回复长度）。
Airoboros 13B 作者：Jon Durbin	通用的	这是一个指令微调的 llama-2 模型，使用由 airoboros⁵ 生成的合成指令。
Undi 设计的 Emerhyst 13B	角色扮演	尝试使用 BlockMerge_Gradient 来获得更好的结果。此外，还使用了 LimaRP v3⁷。
Elinas 的 Chronos 13B	通用的	该模型主要专注于聊天、角色扮演和故事写作，但也可以完成其他任务，例如简单的推理和编码。 Chronos 会生成非常长的输出和连贯的文本，这很大程度上是由于它所接受的人类输入的训练。
春龙 by Henk717	冒险	该模型是AI Dungeon 2 Dragon模型的重新尝试。为了实现这一目标，使用了“text_adventures.txt”数据集，该数据集在在线服务之前与原始 AI Dungeon 2 GitHub 版本捆绑在一起。值得注意的是，使用相同的数据集文件创建 Dragon 模型，其中 Dragon 是 2020 年的 GPT-3 175B Davinci 模型。
Holodeck 由 KoboldAI 设计	冒险	LLAMA2 13B-Holodeck 是使用 Meta 的 llama 2 模型创建的 Finetune。训练数据包含约 3000 种不同类型的电子书。数据集的大部分部分已使用以下文本作为前缀：[Genre: ,
Neo 由 EleutherAI 设计	通用的	这是所有其他 2.7B 模型的基本模型，当您有一个我们没有其他模型可用的用例（例如编写博客文章或编程）时，最好使用它。如果您的软提示与其他模型涵盖的主题无关，它也可以成为某些软提示体验的良好基础。
各种 2.7b 型号	各种较小的模型也可以加载到 GPU colab 中。

风格

类型	描述
小说	对于常规故事写作，不兼容冒险模式或其他特殊模式。
国家科学基金会	表明该模型强烈偏向 NSFW 内容，不适合儿童、工作环境或直播。大多数 NSFW 模型本质上也是新颖的模型。
冒险	这些模型非常适合那些愿意像文本冒险游戏一样玩 KoboldAI 的人，并且应该在启用冒险模式的情况下使用。即使您希望将其用作小说类型模型，您也应该始终打开冒险模式并将其设置为故事。这些模型通常强烈倾向于使用“您”一词，并且在未启用冒险模式的情况下打破故事流程并代表您编写操作。
杂交种	混合模型是不同类型之间的混合，例如它们接受小说故事和冒险故事的训练。这些模型种类繁多，您可以将其用于多种不同的游戏类型和模式，但根据您的使用情况，您可能需要启用冒险模式或您偏好（在用户脚本中）。
通用的	通用模型没有针对任何特定内容进行训练，通常用作其他任务和模型的基础。它们可以做其他模型可以做的所有事情，但需要更多的指导才能正常工作。通用模型是我们没有特定模型的任务的理想基础，或者是体验原始形式的软提示的理想基础。

充分利用 Google Colab 的提示

• Google 偶尔会显示验证码，通常是在打开 30 分钟后，但如果您经常使用 Colab，则可能会更频繁。请确保正确执行这些操作，否则您可能会面临实例关闭并获得较低 TPU 优先级的风险。
• KoboldAI 使用 Google Drive 来存储您的文件和设置，如果您想上传软提示或用户脚本，可以直接在 Google Drive 网站上完成。您还可以使用它来下载 KoboldAI 相关文件的备份或上传您自己的模型。
• 出于隐私原因不想将您的故事保存在 Google 云端硬盘上？不要使用 KoboldAI 的保存功能，而是单击“下载为 .json”，这会自动将故事下载到您自己的计算机上，而无需接触 Google 的硬盘。您可以通过“从文件加载”选项将其加载回来。
• Google 意外关闭了您的实例？只要您没有关闭 KoboldAI 窗口，您仍然可以使用下载为 .json 按钮来恢复您的故事。然后您可以在下一个会话中加载此备份。
• 完成了 KoboldAI 了吗？转到“运行时”菜单，单击“管理会话”并终止不再需要的打开会话。这个技巧可以帮助您保持获得 TPU 的更高优先级。
• 存储在 Google Drive 上的模型通常比我们需要从互联网下载的模型加载得更快。

在您自己的计算机上安装 KoboldAI

KoboldAI 有大量依赖项，您需要在计算机上安装，不幸的是，Python 并不能让我们轻松提供适合所有人的指令。以下说明适用于大多数计算机，但如果您安装了多个版本的 Python，则可能会发生冲突。

下载最新版本的 KoboldAI

KoboldAI 是我们 github 上的滚动版本，您看到的代码也是游戏。您可以通过单击页面顶部的绿色“代码”按钮并单击“下载 ZIP”来下载该软件，或者使用git clone命令。然后，在 Windows 上，您需要运行 install_requirements.bat （建议使用管理模式以避免错误），完成后，或者如果您在 Linux 上，则 play.bat/sh 或 Remote-play.bat/sh来运行它。

对于 Windows 用户来说，最简单的方法是使用下面的离线安装程序。

使用 KoboldAI 离线安装程序（最简单）在 Windows 7 或更高版本上安装 KoboldAI 离线捆绑包

1. 从这里下载最新的离线安装程序
2. 运行安装程序将 KoboldAI 放置在所选位置，KoboldAI 是便携式软件，不绑定到特定的硬盘驱动器。 （由于我们的依赖项内的路径很长，您可能无法将其提取到许多文件夹深处）。
3. 如果需要，使用 update-koboldai.bat 将 KoboldAI 更新到最新版本。
4. 使用 play.bat 离线使用 KoboldAI 或使用 Remote-play.bat 远程使用 KoboldAI

使用 KoboldAI 运行时安装程序在 Windows 10 或更高版本上安装 KoboldAI Github 版本

1. 将 .zip 解压到您想要安装 KoboldAI 的位置，您将需要大约 20GB 的可用空间用于安装（这不包括型号）。
2. 以管理员身份打开 install_requirements.bat 。
3. 选择普通版Transformers（选项1），finetuneanon已贬值，不再推荐。
4. 现在将要求您选择安装模式，我们强烈推荐“临时 B: 驱动器”选项。此选项消除了大多数安装问题，并且还使 KoboldAI 具有便携性。 B：驱动器将在重新启动后消失，并在您每次玩 KoboldAI 时自动重新创建。
5. 安装现在将自动安装其要求，某些阶段可能会出现冻结，请勿关闭安装程序，直到它要求您按某个键。在按键退出安装程序之前，请检查是否发生错误。大多数游戏崩溃问题都与安装/下载错误有关。如果出现错误，禁用防病毒软件会有所帮助。
6. 使用 play.bat 启动 KoboldAI。

使用 KoboldAI 运行时在 Linux 上安装 KoboldAI（最简单）

1. 克隆此 Github 存储库的 URL（例如 git clone https://github.com/koboldai/koboldai-client ）
2. AMD 用户？如果您需要 GPU 支持，请确保安装了 ROCm。你的与 ROCm 不兼容吗？请遵循通常的说明。
3. 运行 play.sh 或者如果您的 AMD GPU 支持 ROCm，请使用 play-rocm.sh

KoboldAI 现在将自动配置其依赖项并启动，所有内容都包含在其自己的 conda 运行时中，因此我们不会弄乱您的系统。这些文件将位于运行时子文件夹中。如果您在任何时候希望强制重新安装运行时，您可以使用 install_requirements.sh 文件来执行此操作。虽然您可以手动运行它，但这不是必需的。

手动安装/Mac

由于现有软件配置与用户系统之间存在巨大差异，我们无法提供手动安装的分步指南。

如果您想手动安装 KoboldAI，您将需要一些 python/conda 包管理知识来手动执行以下步骤之一：

1. 使用我们捆绑的环境文件来安装您自己的 conda 环境，这也会自动安装 CUDA（推荐，您可以从 https://docs.conda.io/en/latest/miniconda.html#latest-miniconda-installer- 获取 Miniconda）链接）。对于 CUDA 用户，推荐配置为 Huggingface.yml；对于 ROCm 用户，推荐配置为 rocm.yml。
2. 如果 conda 被证明很困难，您还可以查看requirements.txt 中所需的依赖项并尝试自己安装它们。这可能是 pip 和本机包管理器的混合体，不建议仅安装我们的requirements.txt，因为我们假设本地用户将运行 conda 来获取所有依赖项。对于本地安装，绝对优先考虑 conda，因为这是我们强制您拥有兼容版本的更好方法。
3. 克隆我们的 Github 或下载 zip 文件。
4. 现在使用 aiserver.py 启动 KoboldAI，而不是使用 play.bat 或 play.sh 文件。

AMD GPU（仅限 Linux）

AMD GPU 的计算支持很糟糕，目前不适用于 Windows，仅适用于少数 Linux GPU。您可以在此处找到兼容 GPU 的列表。任何未列出的 GPU 都保证不能与 KoboldAI 一起使用，并且我们将无法对与我们所需的 ROCm 版本不兼容的 GPU 提供适当的支持。确保首先使用适用于您的发行版的指南在 Linux 系统上安装 ROCm，之后您可以按照上面的常规 Linux 说明进行操作。

故障排除

Python 处理其依赖项的方式可能会出现多种问题，不幸的是，我们没有针对每种情况的直接分步解决方案，但您可以尝试一些常见的解决方案。

模块未找到错误

这总是下载/安装失败或与其他版本的 Python 冲突。如果用户在安装过程中选择子文件夹选项，同时将 KoboldAI 放置在路径中有空格的位置，则这种情况很常见。当防病毒软件沙箱安装或以其他方式干扰下载、磁盘空间不足的系统或您的操作系统未配置长文件路径时（如果您以管理员身份运行安装程序，安装程序将在 Windows 10 及更高版本上执行此操作）我们的安装程序不支持 Windows 10）。

安装可能失败的另一个原因是，如果您的计算机上的 Python 安装存在冲突，如果您按 Windows 键 + R 并在运行对话框中输入 %appdata% ，它将打开 Python 在某些系统上安装依赖项的文件夹。如果此位置有 Python 文件夹，请重命名该文件夹并尝试再次运行安装程序。现在它应该不再卡在现有的依赖项上。尝试一下游戏，看看它是否运行良好。如果是这样，您可以尝试将文件夹重命名回来，看看它是否仍然有效。

安装可能失败的第三个原因是，如果您的系统上因其他原因安装了 conda/mamba，在这种情况下，我们建议您删除现有的 python/conda 安装（如果您不需要它们），然后再次测试我们的安装程序。或者将 conda 本身与我们捆绑的环境文件一起使用，让它手动创建运行时。请记住，如果您选择手动路线，则永远不应该使用 play.bat，而应该直接运行 aiserver.py 。

一般来说，系统上的 Python 版本越少，正确安装的机会就越高。我们一直在努力减轻安装程序中的这些安装冲突，但对于某些用户，我们尚无法避免所有冲突。

GPU 未找到错误

GPU 未找到错误可能是由以下两种情况之一引起的：您没有合适的 Nvidia GPU（它需要计算能力 5.0 或更高版本才能玩 KoboldAI）。您的 Nvidia GPU 受 KoboldAI 支持，但最新版本的 CUDA 不支持。最新版本的 CUDA 尚不支持您的 Nvidia GPU，或者您存在如上所述的依赖性冲突。

与 Python 版本冲突一样，如果您已手动安装 CUDA 并且不需要它进行任何其他操作，我们建议您从系统中卸载 CUDA，然后重试。如果您的 GPU 需要 CUDA10 才能运行开放环境finetuneanon.yml，并在依赖项下添加一行 - cudatoolkit=10.2: 。之后，您可以再次运行安装程序（选择删除现有文件的选项），它将下载 CUDA10 兼容版本。

如果您没有可以在 CUDA10 或更高版本上运行且支持计算功能 5.0 或更高版本的合适 Nvidia GPU，我们无法帮助您在 GPU 上检测到游戏。除非您使用兼容的 AMD GPU 遵循我们的 ROCm 指南。

vocab.json / config.json 未找到错误

如果您收到这些错误，则说明您没有为自定义模型选择正确的文件夹，或者您下载的模型（尚）与 KoboldAI 不兼容。存在一些兼容的模型并提供 pytorch_model.bin 文件，但不提供所有必需的文件。在这种情况下，请尝试下载同类的兼容模型（例如，如果您下载了 GPT-Neo 模型，则另一个 GPT-Neo），并将 pytorch_model.bin 文件替换为您尝试运行的文件。这很有可能会很好地工作。

软提示

软提示（在其他产品中也称为模块）是可以更改现有模型输出的插件。例如，您可以加载一个软提示，使人工智能偏向某个主题和风格，例如您最喜欢的电视节目的文字记录。

由于这些软提示通常基于现有的特许经营权，出于版权问题，我们目前不会将它们与 KoboldAI 捆绑在一起（我们不想让整个项目面临风险）。相反，请查看社区资源，例如 KoboldAI Discord 上的#softprompts 或社区托管的镜像。

这样我们就可以更好地免受任何 DMCA 索赔，因为与直接在 Github 上删除相比，我们可以更轻松地删除内容。如果您有一个从头开始制作的无版权软提示，并且不是基于现有 IP，您希望看到与 KoboldAI 正式捆绑，请使用您的软提示发出拉取请求。

可以使用 Easy Softprompt Tuner 免费完成软提示训练，在这种情况下，您可以将大部分设置保留为默认值。您的源数据需要是一个包含 UTF-8 格式且包含 Unix 行结尾的文本文件的文件夹。

用户脚本

用户脚本是可以在 KoboldAI 中自动执行任务或修改 AI 行为/输入/输出的脚本。
脚本是在 LUA5.4 中完成的（只要满足所有 python 要求，Lua 就不需要单独安装），并且具有沙箱功能，可以帮助保护您免受恶意行为的侵害。即使采取了这些措施，我们强烈建议您仅从您信任和/或理解的地方运行用户脚本，否则请咨询社区以获取有关脚本安全性的建议。

在 userscripts 文件夹中，您将找到我们的 kaipreset 脚本，这些是我们认为对用户有用的默认脚本。当您更新 KoboldAI 时，这些脚本会自动覆盖，如果您想修改这些脚本，请确保首先将它们重命名为不包含 kaipreset 的其他名称，这样您的更改就不会丢失。这些脚本的范围包括“你偏见”过滤器，该过滤器阻止人工智能以你的方式称呼角色。阻止人工智能使用单词、单词替换等的方法。

除了我们的预设脚本之外，我们还在示例文件夹中提供了示例，这些示例仅用作演示，不会增强您对 KoboldAI 的使用。要使用这些脚本，请确保在使用或修改脚本之前将它们移出示例文件夹。

最后，我们的 userscript API 的所有功能都记录在 userscripts 文件夹内的 API 文档文件中。

对于我们的 TPU 版本，请记住，修改 AI 行为的脚本依赖于不同的处理方式，即使您的脚本只是偶尔使用此修改器，这种处理方式也比禁用这些用户脚本要慢。如果您想全速部分使用脚本，则可以启用“No Gen Modifiers”，以确保导致 TPU 变慢的部分不处于活动状态。

应用程序编程接口

KoboldAI 有一个 REST API，可以通过将 /api 添加到 Kobold 为您提供的 URL（例如 http://127.0.0.1:5000/api）来访问。
在浏览器中访问此链接时，您将看到交互式文档。

贡献者

该项目包含以下贡献者的工作：

• Gantian - KoboldAI 的创建者，创建了大多数功能，例如界面、不同的 AI 模型/API 集成以及项目的最大部分。
• VE FORBRYDERNE - 贡献了许多功能，例如编辑大修、冒险模式、世界信息部分的扩展、breakmodel 集成、脚本支持、API、softpromtps 等等。以及大幅提高 TPU 兼容性并将外部代码集成到 KoboldAI 中，这样我们就可以使用官方版本的 Transformer，几乎没有任何缺点。
• Henk717 - 贡献了安装脚本、本自述文件、随机故事生成器、docker 脚本、命令行界面的基础和其他较小的更改，以及集成不同分支的代码的多个部分以将其统一起来。他还优化了模型加载，以便将下载的模型转换为高效的离线模型，并且未来的模型更有可能开箱即用。并非所有 Github 归属于 Henk717 的代码都是由 Henk717 编写的，因为其中一些代码集成了其他人的工作。我们尽力在贡献者列表中澄清这一点。
• Ebolam - 自动保存、后退/重做、固定、网络加载模型
• 一对一、Logits 查看器和令牌流
• db0，KoboldAI 部落
• Frogging101 - top_k / tfs 支持（此支持的一部分后来由 VE 重做，以集成finetuneanon 变压器中最初的内容）
• UWUplus (Ralf) - 为社区合作实验室贡献存储系统，以及更好地清理和集成网站依赖项/代码。他也是 Flask-cloudflared 的维护者，我们用它来生成 cloudflare 链接。
• Javalar - Story_refresh 的初始性能提高
• LexSong - conda 的初始环境文件改编，作为 install_requirements.bat 检修的基础。
• Arrmansa - 对其他项目的 Breakmodel 支持，作为 VE FORBRYDERNE 集成的基础。
• Jojorne - 对每个动作的世代响应选择进行了小幅改进。
• OccultSage (GooseAI) - 改进了对 GooseAI/OpenAI 的支持

以及将在其模型旁边列出的各种模型创建者，以及所有帮助实现这一目标的测试人员！

我们错过了您的贡献吗？请随意发布一个提交，将您的名字添加到此列表中。

执照

KoboldAI 获得 AGPL 许可证，简而言之，这意味着任何人都可以将其用于任何目的。但是，如果您决定公开提供实例，您的用户有权获得源代码的副本，包括您所做的所有修改（需要通过网站上的按钮等界面提供），您也可以不以不包含源代码的形式分发此项目（例如编译/加密代码并分发此版本，但同时不分发包含您所做更改的源代码。您可以以封闭形式分发此项目如果您还提供带有源的单独存档 代码。）。

umamba.exe 是为了方便而捆绑的，因为我们观察到许多用户在使用命令行下载方法时遇到了麻烦，它不是我们项目的一部分，也不属于 AGPL 许可证的范围。它根据 BSD-3-Clause 许可证获得许可。具有不同许可证的其他文件将在文件中包含此许可证的参考或嵌入版本。它源自 https://anaconda.org/conda-forge/micromamba/files ，其源代码可以在这里找到：https://github.com/mamba-org/mamba/tree/master/micromamba