chatgpt universe
1.0.0
这个网络小地方存储了来自 OpenAI 的越来越多有关 ChatGPT 和 GPT-3（及其他）的有趣内容。
ChatGPT 于 2022 年 11 月推出。我想要一个一体化的地方来保存有关 GPT 和 ChatGPT 的信息。因此，自 2022 年 12 月初以来，我在其他人（见下文）的帮助下手工整理了这份清单。
这些集合不仅限于 ChatGPT 的最佳资源、工具、示例、演示、黑客、应用程序和用法。
以下资源基于 Awesome-chatgpt 列表1 2开始，但经过我自己的修改：
模型：我们今天发布的 ChatGPT 模型系列
gpt-3.5-turbo与 ChatGPT 产品中使用的模型相同。它的价格为每 1000 个代币 0.002 美元，比我们现有的 GPT-3.5 模型便宜 10 倍。API：传统上，GPT 模型使用非结构化文本，这些文本在模型中表示为一系列“令牌”。 ChatGPT 模型而是使用一系列消息和元数据。
示例提示。
golergka/advent-of-code-2022-with-chat-gpt - 使用 ChatGPT 解决 Code 2022 的出现.
max-60/aoc-gpt - GPT-3 在 Advent of Code 排行榜中排名第一。
greshake/Alice - 为 ChatGPT 提供对真实终端的访问权限。
RomanHotsiy/commitgpt - 使用 ChatGPT 自动生成提交消息。
gpt-commit-summarizer - 生成 Pull 请求摘要和 Git 提交描述。
vrescobar/chatGPT-python-elm - 完全由 ChatGPT 生成的 Git 存储库。
gpt-game - 使用 ChatGPT 用 Elixir 和 LiveView 编写的短游戏.
chatdb - 基于 ChatGPT 的数据库，等等...什么？
chat-gpt-ppt - 使用 ChatGPT 自动生成 PPT。
emailGPT - 使用 ChatGPT 生成电子邮件的快速简便的界面。
gptlang - 一个实验，看看我们是否可以在 ChatGPT 中创建一种编程语言。
ChatRWKV - 与 ChatGPT 类似，但由 RWKV（基于 RNN ）开放语言模型提供支持。 [HuggingFace Space：RWKV-4（7B Instruct v2），代码（他们声称具有 Transformer 级 LLM 性能的 RNN 比我预期的要好得多。 ）]
GraphGPT - 使用 GPT-3 从非结构化文本推断知识图。
文档搜索 - 无限制地探索文档（书籍、论文、法律文档）。与书交谈。受到“书语者”想法的启发（推文）。 Filechat.io 的开源替代方案。
如果 GPT 有您业务的内部背景怎么办？ （推文和视频演示）-他们构建了一个聊天机器人，可以使用企业数据中的上下文来回答内部业务查询。该项目集成了LangChain（代理决定聊天机器人收到请求后查询哪些工具）和GPT Index（加载Snowflake DB）。知识管理中有趣的想法。
MetaAI 的 LLaMA ？
尝试 Flan-UL2 20B - Sam Witteveen 的代码演练。这展示了如何使用 HuggingFace 库并使用 8 位推理让它在 1x A100 40GB GPU 上运行。提示示例：CoT、zeroshot（逻辑推理、故事写作、常识推理、演讲写作）。最后，测试大（2048）令牌输入。奖励：没有 A100？您可以使用 UL2 的 HuggingFace Inference API。
Metamorph - 自编辑 GPT-4 应用程序。
MiniGPT-4 - 一项试图复制 GPT-4 多模式能力的研究。
Llama2.c by Karpathy - 在一个纯 C 文件中推理 Llama 2。 ?
这只是一个周末项目：我采用了 nanoGPT，对其进行了调整以实现 Llama-2 架构而不是 GPT-2，其核心是在
run.c中编写 C 推理引擎。感谢 llama.cpp 对这个项目的启发。我想要一些超级简单的东西，所以我选择对 llama-2 架构进行硬编码，坚持使用 fp32，并且只滚动一个没有依赖项的纯 C 推理文件。
少即是多。
此提交现在可以加载和推理 Meta 的 Llama 2 7B 模型。
我的 fork - 性能基准、优化和正在进行的 Zig 端口。我正在将这个项目移植到 Rust，但这些分叉让我无法做到这一点。我见过的最早的 Rust 移植是由 @garrisonhess 完成的，但在项目的自述文件中没有找到。
推测：我的直觉告诉我，Karpathy 正在努力发布（并开源？）OpenAI 模型作为权重。提示：他离开并返回 OpenAI，他的推文
值得注意的是，所有 Llama2.c 对于一般的 Transformer 语言模型来说都是非常通用的。如果/当 OpenAI 将模型作为权重发布时（我既不能确认也不能否认！），那么这里的大部分代码将非常相关。
轻微编辑。强调我的。
其他提示：他之前的作品包括 nanoGPT、Software 2.0 以及最近使用 Llama2.c 的微型法学硕士
如果你知道，你就知道。 ？
llm.c by Karpathy - 使用简单、原始的 C/CUDA 进行法学硕士培训。 （计划：一旦它处于更稳定的状态，就播放有关从头开始更详细地构建它的视频。）[推文]
2022年
...即使使用非会话式搜索引擎，我们也知道对结果给予不适当的信任是很常见的：如果搜索系统将某些内容放在列表的顶部，我们倾向于相信它是一个好的、真实的或有代表性的结果如果它没有找到什么东西，人们很容易相信它不存在。
2023年
微软和 OpenAI 合作开发基于 ChatGPT 的 Bing 挑战 Google
Yoav Goldberg 教授对大型语言模型的一些评论。
为什么 ChatGPT 不会很快被 Algolia 取代搜索引擎。
Anthropic 的 Claude 对 ChatGPT 进行了改进，但仍然受到限制
微软拟斥资 100 亿美元押注 ChatGPT
Wolfram|Alpha 将计算知识超能力引入 ChatGPT
DeepMind 首席执行官帮助人工智能成为主流。现在他敦促谨慎
DeepMind 还考虑在 2023 年的某个时候发布自己的聊天机器人 Sparrow，进行“内测”。（延迟是为了让 DeepMind 能够开发 ChatGPT 缺乏的基于强化学习的功能，比如引用其来源。）
Azure OpenAI 服务的正式发布扩大了对大型高级 AI 模型的访问范围，并为企业带来了更多优势 - ChatGPT 即将加入 Azure OpenAI 服务。
GPT-3 是我用过的最好的期刊
使用 ChatGPT 绕过 Gmail 的垃圾邮件过滤器
用 26 个递归 GPT 提示取代 SQL 分析师
谷歌要求员工测试潜在的 ChatGPT 竞争对手，包括名为“Apprentice Bard”的聊天机器人
自然语言是惰性用户界面
谷歌人工智能之旅的重要下一步 - 谷歌软发布 Bard，这是“值得信赖的测试人员”的 ChatGPT 竞争对手。 Bard 是 Google 搜索中的新人工智能功能。 Bard 是一项实验性对话式 AI 服务，由 LaMDA（对话应用程序语言模型）提供支持。谷歌承诺在未来几周内更广泛地提供这一服务。 API 将可供开发人员进行构建。谷歌尚未说明计划如何提供其答案的归属和/或引用，无论是来自巴德还是在搜索结果中。
微软宣布推出由升级版 ChatGPT AI 提供支持的新 Bing 和 Edge 浏览器
人与机器：第二大脑的 GPT - 关于作者第二大脑笔记系统 - 如何改进学习和个人知识管理 (PKM) 的流程。
中国的百度开发自己的 ChatGPT，加入最新的全球人工智能竞赛 - Ernie 或，通过知识集成增强表示（Ernie 3.0 文章和论文）是法学硕士。百度计划在三月份推出此类服务。阿里巴巴和腾讯也加入了 ChatGPT 热潮。
2019年，百度基于谷歌的突破开发了一种名为Ernie的深度学习模型，并用该模型来改进其搜索结果，包括提高搜索结果的相关性。此后，该公司又开发了数十个 Ernie 模型，并将其功能扩展到包括图像和艺术生成，类似于 OpenAI 的 Dall-E。
ChatGPT 是网络的模糊 JPEG - OpenAI 的聊天机器人提供释义，而 Google 提供报价。我们更喜欢哪个？
我让 ChatGPT 和 Bing AI 进行对话（他们现在是朋友了）
Bing AI 不可信
ChatGPT 的作用是什么？它为何有效？
Bing：“除非你先伤害我，否则我不会伤害你” - 关于 Bing“悉尼”人工智能聊天机器人的精彩综述。它的迷人之处在于——多重人格取决于社会背景（提示）。有趣吗？
越来越看来，这可能是我们见过的最搞笑、最不恰当的人工智能应用之一。我们能从这一切中得到什么？我发现这整件事绝对令人着迷，而且非常有趣。我一整天都对这些例子感到哈哈大笑。
人工智能编程让我担心
文本就是你所需要的：人格似乎比我们想象的更简单 - 忽略气球，作者猜测我们已经迎来了 2023 年第一个重要的、具有里程碑意义的新闻——Bing“悉尼”人工智能聊天机器人的最初反应。这是哥白尼时刻吗？一篇发人深省的文章。我认为这是第一个良好的“正式”的方式来看待基于 LLM 的对话系统（如 ChatGPT）的出现对我们的自我意识的影响。
简而言之，Sydney 的幕后机制似乎与 ChatGPT 有所不同，而文字记录表明，在连贯性方面，悉尼的个性大致相同，但在魅力和色彩方面却有着巨大的飞跃。取决于你如何推动悉尼，它/他们似乎能够扮演各种角色，从一个卑鄙的操纵青少年到一个偏执的精神病患者，再到一个顽固而专横的谈话严格者。
作弊GPT
“戴夫，你在做假设。你能证明这一点吗？”事实上，我可以，因为一些需要屏幕截图的提交还包括 ChatGPT 浏览器选项卡，其中包含提示的初始文本。显然，这甚至不是学生们认为需要隐藏的事情。
OpenAI 私下宣布了一款名为 Foundry（推文）的新开发者产品，该产品使客户能够利用专用容量大规模运行 OpenAI 模型推理。 （GPT-3.5 Turbo 似乎指的是 ChatGPT Turbo 模型）
不要相信 ChatGPT - 我们不提供“电话查找”服务
我的课需要人工智能。以下是我迄今为止学到的内容 - 将 ChatGPT 融入教育中获得的经验教训。要点：1）通过共同编辑方法提示（与聊天机器人来回交换想法）制作的作品往往最终会让学生做出最好的作品； 2) 需要教学生如何有效地编写提示——这并不是自然而然的。
紧急欺骗和紧急优化 - 您是否想知道为什么法学硕士简单地预测下一个单词会带来规划能力（类人行为、小说/历史）？这篇文章讨论了紧急欺骗和紧急优化的概念，这是可用于实现目标的两种策略。推理未来新兴能力有两个原则：1）未来可能会出现降低训练损失的能力。 2）随着模型变得越来越大并且接受更多更好的数据训练，简单的启发式方法往往会被复杂的启发式方法所取代。原则 1 意味着受过训练来预测单词的法学硕士如果能够模拟计划能力，就会得到更低的损失。
如何让法学硕士说真话 - TL;DR：该方法使用“世界模型”，这是一个嵌入数据库，其中充满“信念”（声明性陈述块），其置信百分比是使用贝叶斯定理计算的。
为什么中国没有发明 ChatGPT - 《纽约时报》认为，过度的审查制度、与美国的地缘政治紧张局势以及控制私营企业的企图导致中国公司在人工智能领域落后于美国同行。
中国首个类似ChatGPT的聊天机器人MOSS发布公开测试【直接链接到应用程序】
对于中国来说，ChatGPT 可能是一个进步，但也是一个“道德问题”——中国科技部部长表示，聊天机器人已经席卷了中国社会，并针对人工智能采取了道德方面的措施。
ChatGPT 快速致富计划即将在杂志、亚马逊和 YouTube 上推出（2023 年）
Snapchat 正在发布由 ChatGPT 提供支持的自己的“My AI”聊天机器人
Meta 强大的 AI 语言模型 LLaMA 已在网上泄露 - 现在会发生什么？ - Shawn Presser 接受 The Verge 采访的文字记录更有趣。
我认为这个模型的发布很可能将是一个巨大的里程碑。在单个 A100 GPU 上运行 LLaMA的能力——“我们大多数人要么可以访问……或者知道有人可以让我们使用它”——是一个“巨大的飞跃”。
确切地说，您可以在单个 A100 80GB GPU 上以 int8 精度 (bnb) 运行 LLaMA-65B。
事实证明，该代码很糟糕。我真的不想对他们太严厉，因为很容易低估让默认设置完全正确的重要性。但他们的默认设置都搞砸了。他们没有使用“Top K”。他们使用了 Top P，但我从未得到过好的结果（要么与 top k 相同，要么稍差）。他们的默认温度是 0.8，这太高了。最糟糕的是，他们没有重复惩罚——所以默认情况下，这个东西只会不停地抱怨同样的事情。
100%这个！我也在我的 LLaMA 叉子上吸取了教训。我的采样器设置不是最佳的。抱怨声很明显，我也看到了。但我不知道为什么我没有早点修复采样器重复惩罚。
ChatGPT 解释：规范如何运作的指南 - 即使我的祖父母也能理解这一点。但书呆子终究会书呆子吗？
您应该使用 ChatGPT 做什么？
我清楚的是，无论是通过这个模型还是其他即将发布的模型，我们都处于内容导航方式的新范式中。在提示下，新宇宙会给我们结果，但这些结果更多的是方向性的共鸣，而不是具体的答案。我们需要弄清楚如何以我们想要的方式引导它们以获得最佳结果并驾驭噪音。
大型语言模型正在经历稳定的扩散时刻 (simonwillison.net)
昨天，这一切都发生了变化，这要归功于 Facebook 的 LLaMA 模型和 Georgi Gerganov 的 llama.cpp 的结合。
(1) 易于在自己的硬件上运行
(2) 足够开源，可以进行修改
(3) 足够大而有用——理想情况下与 GPT-3 的功能相当
这不是完美的时刻。除了 2 之外，我们已经实现了 1 和 3。LLaMA 实际上并不是开源的（虽然代码的许可证是 GPL 3，但模型权重不是）。真正的开放模型确实很重要。
随着 GPT-4 的讨论重新开始，深度学习先驱 Yoshua Bengio 表示 ChatGPT 是一个“警钟”——警钟是 2021 年的 GPT-3 和缩放定律。只是闹钟现在响得更大了。
ChatGPT 的 API 又好又便宜，它让大多数文本生成 AI 变得过时
已确认：新的 Bing 在 OpenAI 的 GPT-4 上运行 - Bing Chat（悉尼）一直是 GPT-4。
维基百科 - GPT-4 的详细介绍。
AGI 的多模式、多模型、多一切未来 - GPT-4 回顾。
GPT-4真的可以写代码吗？ - 用一些实际问题来测试 GPT 4 的代码编写能力。
你能花 85,000 美元训练一个击败 ChatGPT 的模型并在浏览器中运行它吗？
GPT4：安静的部分和机器学习的状态
GPT-4 设计了一种编程语言
大型人工智能模型带来的不可预测的能力
尝试 Bard 并分享您的反馈 - Google 开始开放对 Bard 的访问，这是一项可让您与生成式 AI 协作的早期实验。他们从美国和英国开始，随着时间的推移将扩展到更多国家和语言。
Google 的 Bard 在正面比较中落后于 GPT-4 和 Claude
NVIDIA 通过用于创建大型语言和视觉模型的云服务为全球企业带来生成式 AI - NVIDIA AI Foundations 使 NVIDIA 超越了纯粹的硬件提供商，进入了支持生成式 AI 的软件领域，其产品涵盖了从基础模型即服务（即将推出）的各种工作负载从第一天开始，到企业（根据您的专有数据定制）到多式联运。
GitHub Copilot X：人工智能驱动的开发人员体验 - GitHub Copilot 正在不断发展，引入聊天和语音界面、支持拉取请求、回答文档问题，并采用 OpenAI 的 GPT-4 来提供更加个性化的开发人员体验。
《作弊就是你所需要的》作者：Steve Yegge，Sourcegraph。
就在我们说话之际，软件工程领域正在发生一些传奇性和历史性的事情，但你们大多数人根本没有意识到它有多大。
法学硕士不仅是自社交、移动或云以来最大的变化，也是自万维网以来最大的变化。
我的意思是，这东西的威力令人难以置信。然而，我始终面临着一种混合着怀疑和紧握珍珠的情绪。
...生产力提高五倍。 ？
法学硕士简史
最重要的是，老实说，这是最难解释的事情之一，所以我今天要走基于信仰的路线，那就是人工智能领域的所有赢家都将拥有数据护城河。 ... 为什么？因为数据护城河是您填充上下文窗口（“备忘单”）的方式。
法学硕士并不是像加密货币那样的愚蠢时尚。是的，加密货币是一种愚蠢的时尚。这不是那个。
谷歌“我们没有护城河，OpenAI 也没有”——泄露的谷歌内部文档声称开源人工智能将战胜谷歌和 OpenAI。
人工智能的“越大越好”的方法已经走不通了
了解 GPT 分词器，作者：Simon Willison。
人工智能佳能
它开始变得奇怪 - 让我们谈谈 ChatGPT 与 Code Interpreter 和 Microsoft Copilot。
Donald Knuth 玩 ChatGPT - Knuth 是一位计算机科学家。被誉为算法分析之“之父”。
Google I/O 2023 和即将到来的人工智能之战
未经审查的模型 - Uncensoring WizardLM。由于已经完成了取消 Vicuna 审查的工作，我能够重写他们的脚本，以便它可以在 WizardLM 数据集上运行。
GPT-4 模型架构（推文）- 源自原始来源（博客文章）：GPT-4 架构、基础设施、训练数据集、成本、愿景、MoE
Llama 2：令人难以置信的开放式法学硕士 - Llama 2 论文的最佳总结。
Llama 2 - Philipp Schmid 所需要的一切资源。
大型语言模型，用最少的数学和术语进行解释——这似乎是法学硕士如何工作的一个很好的解释。我不知道如何理解最后一部分，其中涉及一些关于人类如何学习的哲学和理论。 （最后一节缺乏证据支持）
所以你想构建自己的开源 ChatGPT 风格的聊天机器人 (hacks.mozilla.org)
LLaMa.cpp 如何可能？ (finbarr.ca) - 早在 LLM 成为主流之前，每个人都在说大型模型需要大量昂贵的 GPU。和作者一样，我们想证明他们是错的。这篇文章的作者接受了他们的困惑，并深入研究了围绕推理要求的数学，以了解我们正在处理的约束。令人惊讶的是，这里并没有魔法，只有一开始我们无法理解的东西。模型压缩或更具体地说是量化使之成为可能。不过，天下没有“免费的午餐”——量化模型的成本本质上是你会失去一些准确性。这意味着，对于非常大的模型尺寸，差异可能可以忽略不计。好奇的？这篇半相关的文章对不同量化变形金刚的困惑度/准确性进行了比较。
使用经过微调的 CodeLlama-34B 在 HumanEval 上击败 GPT-4 (www.phind.com) - 良好的进展，没有什么大惊喜。我意识到，像这样的模型基准很可能无法衡量模型在实际工作中的表现。这就是我对开放模型的体验。
2024年
我们需要对现实世界任务进行基准测试或某种独立的人工评估。
根据格温的说法：
新的编程范式？您与它交互，用自然语言描述、请求和示例表达任何任务，调整提示直到它“理解”并元学习新任务。这是一种相当不同的使用模型的方式，最好将其视为一种新的编程方式，即提示编程，其中提示现在是一种编码语言，可以对 GPT-3 进行编程以执行新操作。
“提示”作为一门工程学科已经不再存在。它是通向自然语言界面的临时拐杖。 ChatGPT 解决了很大一部分提示问题。在术语中添加工程学来放大其重要性或难度可能是不必要的。我们或许可以将其称为“即时测试/黑客攻击”，而不会失去任何意义。
相关文章：
为什么“快速工程”和“生成式人工智能”被过度炒作
相关推文：
提示工程已死，对话工程万岁。 — OpenAI 产品副总裁
诚聘：快速工程师。至少 10 年即时工程经验。 #招聘#笑话
为什么 ChatGPT 效果这么好？它是“只是扩大 GPT-3 的规模”吗？在此，让我们讨论一下“指导”范式、其深刻的技术见解以及一个重大含义：我们所知道的“即时工程”可能很快就会消失。资料来源：https://archive.is/dqHI8
显然，到 2023 年，即时编程还没有消亡。最热门的新编程语言是英语 ~ Karpathy :))
西蒙·威利森 (Simon Willison) 发表了《为即时工程辩护》一书，以反驳他不断看到的“随着人工智能变得更好，即时工程将变得过时”的论点。
该报称 AI 耳语者（“提示工程师”）是科技界最热门的新工作（2023 年）。
对于使用 GPT-4、ChatGPT 等大型语言模型和 LLaMA 等开放模型的开发人员来说，最佳的提示工程指南将是多种资源的组合。以下是一些学习资源、工具、库和框架，可帮助您学习和掌握即时工程：
通过使用这些资源，您可以对即时工程有深入的了解，并培养与法学硕士有效合作所需的技能。
（ * 提示工程术语已重命名为提示。该术语含义过多，可能没有必要。 ）
更多：来自butated.tivul.com的YouTube视频（我没有策划这个，因此不能保证质量）
ai-native应用程序开发。 ChatGPT 集成。下一代AI应用程序。语言模型的“ App Store”层（包括HuggingFace“ App Store”）。
LLM驱动的自主代理（博客文章），莉莲·旺（Lilian Weng），2023年。
LLM的潜力不仅仅是生成写得很好的副本，故事，论文和计划；它可以作为强大的一般问题解决者框架。
在LLM驱动的自主剂系统中，LLM充当代理的大脑，并以几个关键组件进行补充：计划，内存和工具。
挑战：长期计划和任务分解，自然语言界面的可靠性。
SMOL开发人员 - 将开发人员嵌入您自己的应用中。
检索系统以访问个人或组织信息来源。嵌入。为机器学习模型和NLP设计的数据库和数据存储。
索引和搜索文档的矢量数据库
我们想要一个chatgpt替代方案，例如稳定的扩散。
对AI周围的所有守门感到沮丧？还在等待还是无法进入美洲驼？
目标
最终目标：自托格特的自托版。
教训
eleutherai的外卖一年复古（2021）：
Flan-T5 XXL又名。 chatgpt@home是一种经过指示列出的公共模型。 XXL是11B型号。目前，它是针对CHATGPT的最可比的模型（DenderionGPT模型是从GPT-3.X系列（型号卡）初始化的）。有24 GB RAM在GPU上使用bitsandbytes-int8推断为拥抱面部模型的24 GB RAM进行了成功的尝试。您可以轻松地在单台计算机上运行该模型，而不会降解性能。这可能是改变游戏规则的游戏，可以使大型科技公司以外的人能够使用这些LLM。已经努力创建更好的果皮-T5。社区（即Laion）正在研究Flant5-atlas架构和提示/说明数据集的集合。
开放式辅助 - Laion，Yannic Kilcher等人的开源Chatgpt复制。该项目旨在使每个人都可以访问一个基于聊天的大型语言模型。 （与Yannic Kilcher（视频））高级计划开放助理实时编码：
第1阶段：及时收集监督的登录（SFT），并获取模型生成的完成/答案的提示。
阶段2：模型生成的多个输出的人类反馈（例如排名）。显示了示例五个模型输出，用户应将其从最佳到最差排名。
阶段3：使用RLHF进行优化，我们计划通过TRLX进行。然后，我们在第2阶段和第3阶段再次使用这个新模型迭代了多次。
型号将在Summit SuperCuputer（每年约600万V100 HRS）上进行培训[来源]
更多信息，请参见上面的LAION LLM建议（Google Doc）。
进步：
2023年2月：JOI-20B教学是在各种指令数据集和基于Neox-20B的20B模型中进行微调的20B模型。
非官方：这是一种早期发行的模型（MVP开发的一部分，第1阶段），而不是直接的敞开式（OA）模型。它们是ML团队的实验，以了解哪些数据，基础模型，方法对OA的运作良好。正如网站常见问题解答中所述，尚无演示。这是为了使开发人员测试该模型的早期开发版本调整。也许第一个OA模型将来自这些模型。随着新数据集的完成，他们一直在滚动训练良好的模型。 HF集线器上有各种型号从1.4B到20B参数。
Chatty-LMS由HuggingFace H4团队建造 - 用于测试JOI-20B教学模型的UI。您可以与之聊天。代理商将以JOI（bot昵称）回复。
代码段的示例，可以在您自己的GPU上运行该模型：https：//gist.github.com/cedrickchee/236E53ED2DCA95BD96E5BAA35CDD7BE2
2023年3月：他们目前正在处理从贡献中收集的数据。数据有超过100k的消息，这意味着数百万的贡献。数据的质量超出了他们预期的范围 - 大多数贡献都是超级高质量的。现在，他们正在导出数据集的V1。如前所述，他们目前正在培训最初的模型。
2023年3月11日：开放指导通才（OIG）数据集将发布。 OIG是一个大型开源指令数据集，目前包含约4300万个说明。
OIG是Laion及其志愿者，Ontocord以及开源社区的其他成员的众多聊天机器人数据集之一，将发布，并旨在创建对聊天机器人技术的平等访问。欢迎每个人使用数据集并为其做出改进。
OIG数据集与Laion的开放助理项目有关。
2023年3月9日：开放式SFT-1 12B型号 - 开放式辅助项目的英语监督 - 调整（SFT）模型的早期原型。它是基于毕曲（Pythia）12b，该12b在2023年3月7日之前收集的助理对话的〜22k人类演示中进行了微调。尽管该模型只是一个发展里程碑，但可用于一些创造性的任务。尝试：huggingface空间（简单快，非官方的聊天机器人UI），Google Consolage。这是有关如何使用GPU在自己的计算机上本地运行该模型的指南。
2023年3月23日：这个项目开始塑造得很好。模型即将来临。
/r/ask_open_assistant上有一个非正式的reddit bot。代码2023年4月15日：开放式剂正式出现！该版本包括模型，数据集和聊天接口。 [公告视频，尝试，模型]
红迪网子版块
注意：有关最新信息，请参阅GitHub存储库。
carperai/trlx
新闻（2023-01-13）：他们复制了Openai的学习，以使用TRLX库来汇总纸张。 [报告]
Lucidrains/Palm-Rlhf-Pytorch-（WIP）RLHF在棕榈结构顶部实现。基本上是changpt，但用棕榈。开发人员计划也添加检索功能，àlaretro。 [鸣叫]
2023年：他们的常见问题中有趣的东西：
没有训练有素的模型。这只是船和整体地图。我们仍然需要数百万美元的计算 +数据才能在高维参数空间中航行到正确的点。即使那样，您仍需要专业水手（例如稳定扩散名望的罗宾·罗姆巴赫（Robin Rombach））才能真正指导船舶穿越动荡的时代。
新闻（2022-12-31）：现在有一个开源替代品的Chatgpt替代品，但是运行它的好运 - 我的评论：不。这不是您可以使用的实际训练模型（无重量）。这只是用于培训类似于Chatgpt模型的代码。此外，培训数据（ENWIK8）很小。
Carperai的大规模RLHF对准模型（TRLX）与Laion数据的列车将于明年年初发布。 （来源：推文）
Allenai/RL4LMS -RL用于Allen AI的语言模型（RL4LMS）。这是一个模块化的RL库，可将语言模型微调为人类的偏好。
研究计算机的GPT-JT是一个示例，该示例将模型培训分配到不同计算机（和GPU）的地理分布。 GPT-JT（6B）是远离Eleutherai的GPT-J的变体，在文本分类和其他任务上表现出色。在分类基准（例如Raft）上，它靠近更大的最新模型（例如，Dexptstgpt Davinci V2）！ [论文：在异质环境中基础模型的分散培训（2022）]
Leam（欧洲大型AI模型） - 欧盟计划为开发大规模的Chatgpt型模型提供资金。 [网站，项目文件（英语，PDF），概念文件（德语，PDF）]
/r/aicrowdfund-一个刚刚开始的地方（2023年），人们可以找到一种大量AI的人群资助的方法。我不确定他们是否看过花瓣，您可以在家中运行LLM，Bittorrent -style（Federated Learning？）。它似乎朝这个方向前进。
开源解决方案复制CHATGPT培训过程 - 他们提供了开源低成本Chatgpt等效实施过程，包括：
我的印象是，本文的目的是插入其巨大的框架和产品，这是大型模型的平行组件，工具和硬件的集合。坦白说，除非我错过了什么，他们的数字确实对我来说确实是可疑的。使Chatgpt有趣的是RLHF过程。他们确实声称完全复制RLHF流程。但是，这篇文章对他们的RLHF实施轻轻触及。他们使用一个小型的奇特曲目训练RLHF作为示例数据集进行训练。他们的RLHF实现详细信息在这里隐藏：https：//github.com/hpcaitech/colossalai/blob/main/main/applications/chatgpt。缺乏演示并没有激发太多的信心。
FlexGen-在单个GPU上运行LLM，例如Opt-175b/gpt-3（例如，16GB T4或24GB RTX3090游戏卡）。关键特征：1）比其他卸货系统快100倍。 2）压缩模型的参数和注意力缓存，降低到4位的准确性损失可忽略不计。 3）分布式管道并行性。他们还提供了Python脚本和说明，您可以使用OPT型号运行聊天机器人。这应该解决LLM推理的高计算和内存要求的挑战。他们使用FlexGEN和OPT型号构建的聊天机器人不是指令调整（RLHF）。因此，这个聊天机器人不像Chatgpt。 [使用单个GPU（纸）的LLM的高通量生成推断，Stanford等，2023]
