chatgpt universe
1.0.0
這個網路小地方儲存了來自 OpenAI 的越來越多有關 ChatGPT 和 GPT-3（及其他）的有趣內容。
ChatGPT 於 2022 年 11 月推出。因此，自 2022 年 12 月初以來，我在其他人（見下文）的幫助下手工整理了這份清單。
這些集合不僅限於 ChatGPT 的最佳資源、工具、範例、演示、駭客、應用程式和用法。
以下資源基於 Awesome-chatgpt 清單1 2開始，但經過我自己的修改：
模型：我們今天發布的 ChatGPT 模型系列
gpt-3.5-turbo與 ChatGPT 產品中使用的模型相同。它的價格為每 1000 個代幣 0.002 美元，比我們現有的 GPT-3.5 模型便宜 10 倍。API：傳統上，GPT 模型使用非結構化文本，這些文本在模型中表示為一系列「令牌」。 ChatGPT 模型而是使用一系列訊息和元資料。
範例提示。
golergka/advent-of-code-2022-with-chat-gpt - 使用 ChatGPT 解決 Code 2022 的出現.
max-6ty/aoc-gpt - GPT-3 在 Advent of Code 排行榜中排名第一。
greshake/Alice - 為 ChatGPT 提供對真實終端的存取權限。
RomanHotsiy/commitgpt - 使用 ChatGPT 自動產生提交訊息。
gpt-commit-summarizer - 產生 Pull 請求摘要和 Git 提交描述。
vrescobar/chatGPT-python-elm - 完全由 ChatGPT 產生的 Git 儲存庫。
gpt-game - 使用 ChatGPT 用 Elixir 和 LiveView 編寫的短遊戲.
chatdb - 基於 ChatGPT 的資料庫，等等...什麼？
chat-gpt-ppt - 使用 ChatGPT 自動產生 PPT。
emailGPT - 使用 ChatGPT 產生電子郵件的快速簡單的介面。
gptlang - 一個實驗，看看我們是否可以在 ChatGPT 中建立一種程式語言。
ChatRWKV - 與 ChatGPT 類似，但由 RWKV（基於 RNN ）開放語言模型提供支援。 [HuggingFace Space：RWKV-4（7B Instruct v2），程式碼（他們聲稱具有 Transformer 級 LLM 性能的 RNN 比我預期的要好得多。 ）]
GraphGPT - 使用 GPT-3 從非結構化文字推斷知識圖。
文件搜尋 - 無限制地探索文件（書籍、論文、法律文件）。與書交談。受到「書語者」想法的啟發（推文）。 Filechat.io 的開源替代方案。
如果 GPT 有您業務的內部背景怎麼辦？ （推文和視訊演示）-他們建立了一個聊天機器人，可以使用企業資料中的上下文來回答內部業務查詢。此專案整合了LangChain（代理商決定聊天機器人收到請求後查詢哪些工具）和GPT Index（載入Snowflake DB）。知識管理中有趣的想法。
MetaAI 的 LLaMA ？
試試 Flan-UL2 20B - Sam Witteveen 的程式設計演練。這展示瞭如何使用 HuggingFace 庫並使用 8 位元推理讓它在 1x A100 40GB GPU 上運行。提示範例：CoT、zeroshot（邏輯推理、故事寫作、常識推理、演講寫作）。最後，測試大（2048）令牌輸入。獎勵：沒有 A100？您可以使用 UL2 的 HuggingFace Inference API。
Metamorph - 自我編輯 GPT-4 應用程式。
MiniGPT-4 - 一項試圖複製 GPT-4 多模式能力的研究。
Llama2.c by Karpathy - 在一個純 C 文件中推理 Llama 2。
這只是一個週末專案：我採用了 nanoGPT，對其進行了調整以實現 Llama-2 架構而不是 GPT-2，其核心是在
run.c中編寫 C 推理引擎。感謝 llama.cpp 對這個項目的啟發。我想要一些超級簡單的東西，所以我選擇對 llama-2 架構進行硬編碼，堅持使用 fp32，並且只滾動一個沒有依賴項的純 C 推理檔案。
少即是多。
此提交現在可以載入和推理 Meta 的 Llama 2 7B 模型。
我的 fork - 效能基準、最佳化和正在進行的 Zig 連接埠。我正在將這個專案移植到 Rust，但這些分叉讓我無法做到這一點。我見過的最早的 Rust 移植是由 @garrisonhess 完成的，但在專案的自述文件中沒有找到。
推測：我的直覺告訴我，Karpathy 正在努力發布（並開源？）OpenAI 模型作為權重。提示：他離開並返回 OpenAI，他的推文
值得注意的是，所有 Llama2.c 對於一般的 Transformer 語言模型來說都是非常通用的。如果/當 OpenAI 將模型作為權重發佈時（我既不能確認也不能否認！），那麼這裡的大部分程式碼將非常相關。
輕微編輯。強調我的。
其他提示：他之前的作品包括 nanoGPT、Software 2.0 以及最近使用 Llama2.c 的微型法學碩士
如果你知道，你就知道。 ？
llm.c by Karpathy - 使用簡單、原始的 C/CUDA 進行法學碩士培訓。 （計劃：一旦它處於更穩定的狀態，就播放有關從頭開始更詳細地構建它的視頻。）[推文]
2022年
……即使使用非會話式搜尋引擎，我們也知道對結果給予不適當的信任是很常見的：如果搜尋系統將某些內容放在清單的頂部，我們傾向於相信它是一個好的、真實的或代表性的結果如果它沒有找到什麼東西，人們很容易相信它不存在。
2023年
微軟和 OpenAI 合作開發基於 ChatGPT 的 Bing 挑戰 Google
Yoav Goldberg 教授對大型語言模型的一些評論。
為什麼 ChatGPT 不會很快被 Algolia 取代搜尋引擎。
Anthropic 的 Claude 在 ChatGPT 上進行了改進，但仍然受到限制
微軟擬斥資 100 億美元押注 ChatGPT
Wolfram|Alpha 將運算知識超能力引入 ChatGPT
DeepMind 執行長幫助人工智慧成為主流。現在他敦促謹慎
DeepMind 也考慮在 2023 年的某個時候發布自己的聊天機器人 Sparrow，進行「內測」。
Azure OpenAI 服務的全面發布擴大了對大型高階 AI 模型的存取範圍，並為企業帶來了更多優勢 - ChatGPT 即將加入 Azure OpenAI 服務。
GPT-3 是我用過的最好的期刊
使用 ChatGPT 繞過 Gmail 的垃圾郵件過濾器
以 26 個遞歸 GPT 提示取代 SQL 分析師
谷歌要求員工測試潛在的 ChatGPT 競爭對手，包括名為「Apprentice Bard」的聊天機器人
自然語言是惰性使用者介面
谷歌人工智慧之旅的重要下一步 - 谷歌軟體發布 Bard，這是「值得信賴的測試人員」的 ChatGPT 競爭對手。 Bard 是 Google 搜尋中的新人工智慧功能。 Bard 是一項實驗性對話式 AI 服務，由 LaMDA（對話應用程式語言模型）提供支援。谷歌承諾在未來幾週內更廣泛地提供這項服務。 API 將可供開發人員進行建置。谷歌尚未說明計劃如何提供其答案的歸屬和/或引用，無論是來自巴德還是在搜尋結果中。
微軟宣布推出由升級版 ChatGPT AI 提供支援的新 Bing 和 Edge 瀏覽器
人與機器：第二大腦的 GPT - 關於作者第二個大腦筆記系統 - 如何改善學習和個人知識管理 (PKM) 的流程。
中國的百度開發自己的 ChatGPT，加入最新的全球人工智慧競賽 - Ernie 或，透過知識整合增強表示（Ernie 3.0 文章和論文）是法學碩士。百度計劃在三月推出此類服務。阿里巴巴和騰訊也加入了 ChatGPT 熱潮。
2019年，百度基於Google的突破開發了一種名為Ernie的深度學習模型，並使用該模型來改善其搜尋結果，包括提高搜尋結果的相關性。此後，該公司又開發了數十個 Ernie 模型，並將其功能擴展到包括圖像和藝術生成，類似於 OpenAI 的 Dall-E。
ChatGPT 是網路的模糊 JPEG - OpenAI 的聊天機器人提供釋義，而 Google 提供報價。我們比較喜歡哪一個？
我讓 ChatGPT 和 Bing AI 進行對話（他們現在是朋友了）
Bing AI 不可信
ChatGPT 的作用是什麼？
Bing：「除非你先傷害我，否則我不會傷害你」 - 關於 Bing「雪梨」人工智慧聊天機器人的精彩綜述。它的迷人之處在於──多重人格取決於社會背景（提示）。有趣嗎？
越來越看來，這可能是我們見過的最搞笑、最不恰當的人工智慧應用之一。我們能從這一切中得到什麼？我發現這整件事絕對令人著迷，而且非常有趣。我一整天都對這些例子感到大笑。
人工智慧程式設計讓我擔心
文本就是你所需要的：人格似乎比我們想像的更簡單- 忽略氣球，作者猜測我們已經迎來了2023 年第一個重要的、具有里程碑意義的新聞——Bing“悉尼”人工智能聊天機器人的最初反應。這是哥白尼時刻嗎？一篇發人深省的文章。我認為這是第一個很好的「正式」的方式來看待基於 LLM 的會話系統（如 ChatGPT）的出現對我們的自我意識的影響。
簡而言之，Sydney 的幕後機制似乎與 ChatGPT 有所不同，而記錄顯示，其個性在連貫性方面大致相同，但在魅力和色彩方面卻有著巨大的飛躍。根據你如何推動悉尼，它/他們似乎能夠扮演各種角色，從卑鄙的操縱青少年到偏執的精神病患者，再到頑固而專橫的談話嚴格者。
作弊GPT
“戴夫，你在做假設。你能證明這一點嗎？”事實上，我可以，因為一些需要螢幕截圖的提交還包括 ChatGPT 瀏覽器選項卡，其中包含提示的初始文字。顯然，這甚至不是學生認為需要隱藏的事情。
OpenAI 私下宣布了一款名為 Foundry（推文）的新開發者產品，該產品使客戶能夠利用專用容量大規模運行 OpenAI 模型推理。 （GPT-3.5 Turbo 似乎指的是 ChatGPT Turbo 模型）
不要相信 ChatGPT - 我們不提供「電話查找」服務
我的課需要人工智慧。以下是我迄今為止學到的內容 - 將 ChatGPT 融入教育中所獲得的經驗教訓。重點：1）透過共同編輯方法提示（與聊天機器人來回交換想法）製作的作品往往最終會讓學生做出最好的作品； 2) 需要教導學生如何有效地寫提示－這並不是自然而然的。
緊急欺騙和緊急優化 - 您是否想知道為什麼法學碩士簡單地預測下一個單字會帶來規劃能力（類人行為、小說/歷史）？這篇文章討論了緊急欺騙和緊急優化的概念，這是可用於實現目標的兩種策略。推理未來新興能力有兩個原則：1）未來可能會出現降低訓練損失的能力。 2）隨著模型變得越來越大並且接受更多更好的資料訓練，簡單的啟發式方法往往會被複雜的啟發式方法所取代。原則 1 意味著受過訓練來預測單字的法學碩士如果能夠模擬計劃能力，就會得到更低的損失。
如何讓法學碩士說真話 - TL;DR：該方法使用“世界模型”，這是一個嵌入數據庫，其中充滿“信念”（聲明性陳述塊），其置信百分比是使用貝葉斯定理計算的。
為什麼中國沒有發明 ChatGPT - 《紐約時報》認為，過度的審查制度、與美國的地緣政治緊張局勢以及控制私營企業的企圖導致中國公司在人工智慧領域落後於美國同行。
中國首個類似ChatGPT的聊天機器人MOSS發佈公開測試【直接連結到應用程式】
對中國來說，ChatGPT 可能是一個進步，但也是一個「道德問題」——中國科技部長表示，聊天機器人已經席捲了中國社會，並針對人工智慧採取了道德方面的措施。
ChatGPT 快速致富計畫即將在雜誌、亞馬遜和 YouTube 上推出（2023 年）
Snapchat 正在發布由 ChatGPT 支援的自己的「My AI」聊天機器人
Meta 強大的 AI 語言模型 LLaMA 已在網上洩露 - 現在會發生什麼？ - Shawn Presser 接受 The Verge 採訪的文字記錄更有趣。
我認為這個模型的發布很可能將是一個巨大的里程碑。在單個 A100 GPU 上運行 LLaMA的能力——“我們大多數人要么可以訪問……或者知道有人可以讓我們使用它”——是一個“巨大的飛躍”。
確切地說，您可以在單一 A100 80GB GPU 上以 int8 精度 (bnb) 運行 LLaMA-65B。
事實證明，該代碼很糟糕。我真的不想對他們太嚴厲，因為很容易低估讓預設設定完全正確的重要性。但他們的預設值都搞砸了。他們沒有使用“Top K”。他們使用了 Top P，但我從未得到過好的結果（要么與 top k 相同，要么稍差）。他們的預設溫度是 0.8，這太高了。最糟糕的是，他們沒有重複懲罰——所以預設情況下，這個東西只會不停地抱怨同樣的事情。
100%這個！我也在我的 LLaMA 叉子上學到了教訓。我的採樣器設定不是最佳的。抱怨聲很明顯，我也看到了。但我不知道為什麼我沒有早點修復採樣器重複懲罰。
ChatGPT 解釋：規範如何運作的指南 - 即使我的祖父母也能理解這一點。但書呆子終究會書呆子嗎？
您應該使用 ChatGPT 做什麼？
我清楚的是，無論是透過這個模型還是其他即將發布的模型，我們都處於內容導航方式的新範式中。在提示下，新宇宙會給我們結果，但這些結果更多的是方向性的共鳴，而不是具體的答案。我們需要弄清楚如何以我們想要的方式引導它們以獲得最佳結果並駕馭噪音。
大型語言模型正在經歷穩定的擴散時刻 (simonwillison.net)
昨天，這一切都發生了變化，這要歸功於 Facebook 的 LLaMA 模型和 Georgi Gerganov 的 llama.cpp 的結合。
(1) 易於在自己的硬體上運行
(2) 夠開源，可以修改
(3) 夠大而有用－理想情況下與 GPT-3 的功能相當
這不是完美的時刻。除了 2 之外，我們已經實作了 1 和 3。真正的開放模式確實很重要。
隨著 GPT-4 的討論重新開始，深度學習先驅 Yoshua Bengio 表示 ChatGPT 是一個「警鐘」——警鐘是 2021 年的 GPT-3 和縮放定律。
ChatGPT 的 API 好又便宜，它讓大多數文字產生 AI 變得過時
已確認：新的 Bing 在 OpenAI 的 GPT-4 上運行 - Bing Chat（悉尼）一直是 GPT-4。
維基百科 - GPT-4 的詳細介紹。
AGI 的多模式、多模型、多一切未來 - GPT-4 回顧。
GPT-4真的可以寫程式嗎？ - 用一些實際問題來測試 GPT 4 的程式碼編寫能力。
你能花 85,000 美元訓練一個擊敗 ChatGPT 的模型並在瀏覽器中運行它嗎？
GPT4：安靜的部分和機器學習的狀態
GPT-4 設計了一種程式語言
大型人工智慧模型帶來的不可預測的能力
嘗試 Bard 並分享您的回饋 - Google 開始開放對 Bard 的訪問，這是一項可讓您與生成式 AI 協作的早期實驗。他們從美國和英國開始，隨著時間的推移將擴展到更多國家和語言。
Google 的 Bard 在正面比較中落後於 GPT-4 和 Claude
NVIDIA 透過用於創建大型語言和視覺模型的雲端服務為全球企業帶來生成式AI - NVIDIA AI Foundations 使NVIDIA 超越了純粹的硬體供應商，進入了支援生成式AI 的軟體領域，其產品涵蓋了從基礎模型即服務（即將推出）的各種工作負載從第一天開始，到企業（根據您的專有數據自訂）到多式聯運。
GitHub Copilot X：人工智慧驅動的開發人員體驗 - GitHub Copilot 正在不斷發展，引入聊天和語音介面、支援拉取請求、回答文件問題，並採用 OpenAI 的 GPT-4 來提供更個人化的開發人員體驗。
《作弊就是你所需要的》作者：Steve Yegge，Sourcegraph。
就在我們說話的時候，軟體工程領域正在發生一些傳奇和歷史性的事情，但你們大多數人根本沒有意識到它有多大。
法學碩士不僅是自社交、行動或雲端以來最大的變化，也是自萬維網以來最大的變化。
我的意思是，這東西的威力令人難以置信。然而，我始終面臨著一種混合著懷疑和緊握珍珠的情緒。
...生產力提高五倍。 ？
法學碩士簡史
最重要的是，老實說，這是最難解釋的事情之一，所以我今天要走基於信仰的路線，那就是人工智慧領域的所有贏家都將擁有數據護城河。 ... 為什麼？因為資料護城河是您填充上下文視窗（「備忘單」）的方式。
法學碩士並不是像加密貨幣那樣的愚蠢時尚。是的，加密貨幣是一種愚蠢的時尚。這不是那個。
谷歌「我們沒有護城河，OpenAI 也沒有」——洩漏的谷歌內部文檔聲稱開源人工智慧將戰勝谷歌和 OpenAI。
人工智慧的「越大越好」的方法已經走不通了
了解 GPT 分詞器，作者：Simon Willison。
人工智慧佳能
它開始變得奇怪 - 讓我們談談 ChatGPT 與 Code Interpreter 和 Microsoft Copilot。
Donald Knuth 玩 ChatGPT - Knuth 是一位電腦科學家。被譽為演算法分析之「之父」。
Google I/O 2023 與即將到來的人工智慧之戰
未經審查的模型 - Uncensoring WizardLM。由於已經完成了取消 Vicuna 審查的工作，我能夠重寫他們的腳本，以便它可以在 WizardLM 資料集上運行。
GPT-4 模型架構（推文）- 源自原始來源（部落格文章）：GPT-4 架構、基礎設施、訓練資料集、成本、願景、MoE
Llama 2：令人難以置信的開放式法學碩士 - Llama 2 論文的最佳總結。
Llama 2 - Philipp Schmid 所需的一切資源。
大型語言模型，用最少的數學和術語進行解釋——這似乎是法學碩士如何工作的一個很好的解釋。我不知道如何理解最後一部分，其中涉及一些關於人類如何學習的哲學和理論。 （最後一節缺乏證據支持）
所以你想建立自己的開源 ChatGPT 風格的聊天機器人 (hacks.mozilla.org)
LLaMa.cpp 如何可能？ (finbarr.ca) - 早在 LLM 成為主流之前，每個人都在說大型模型需要大量昂貴的 GPU。和作者一樣，我們想證明他們是錯的。這篇文章的作者接受了他們的困惑，並深入研究了圍繞推理要求的數學，以了解我們正在處理的約束。令人驚訝的是，這裡並沒有魔法，只有一開始我們無法理解的東西。模型壓縮或更具體地說是量化使之成為可能。不過，天下沒有「免費的午餐」——量化模型的成本本質上是你會失去一些準確性。這意味著，對於非常大的模型尺寸，差異可能可以忽略不計。好奇的？這篇半相關的文章對不同量化變形金剛的困惑度/準確性進行了比較。
使用經過微調的 CodeLlama-34B 在 HumanEval 上擊敗 GPT-4 (www.phind.com) - 良好的進展，沒有什麼大驚喜。我意識到，像這樣的模型基準很可能無法衡量模型在實際工作中的表現。這就是我對開放模型的體驗。
2024年
我們需要對現實世界任務進行基準測試或某種獨立的人工評估。
根據格溫的說法：
新的程式設計範式？您與它交互，用自然語言描述、請求和範例表達任何任務，調整提示直到它「理解」並元學習新任務。這是一種相當不同的使用模型的方式，最好將其視為一種新的編程方式，即提示編程，其中提示現在是一種編碼語言，可以對 GPT-3 進行編程以執行新操作。
「提示」作為一門工程學科已經不再存在。它是通往自然語言介面的臨時拐杖。 ChatGPT 解決了很大一部分提示問題。在術語中添加工程學來放大其重要性或難度可能是不必要的。我們或許可以將其稱為“即時測試/駭客攻擊”，而不會失去任何意義。
相關文章：
為什麼「快速工程」和「生成式人工智慧」被過度炒作
相關推文：
提示工程已死，對話工程萬歲。 — OpenAI 產品副總裁
誠聘：快速工程師。至少 10 年即時工程經驗。 #招募#笑話
為什麼 ChatGPT 效果這麼好？它是「只是擴大 GPT-3 的規模」嗎？在此，讓我們討論「指導」範式、其深刻的技術見解以及一個重大含義：我們所知道的「即時工程」可能很快就會消失。資料來源：https://archive.is/dqHI8
顯然，到 2023 年，即時程式設計還沒有消亡。最熱門的新程式語言是英文 ~ Karpathy :))
西蒙威利森 (Simon Willison) 發表了《為即時工程辯護》一書，以反駁他不斷看到的「隨著人工智慧變得更好，即時工程將變得過時」的論點。
該報稱 AI 耳語者（「提示工程師」）是科技界最熱門的新工作（2023 年）。
對於使用 GPT-4、ChatGPT 等大型語言模型和 LLaMA 等開放模型的開發人員來說，最佳的提示工程指南將是多種資源的組合。以下是一些學習資源、工具、函式庫和框架，可幫助您學習和掌握即時工程：
透過使用這些資源，您可以對即時工程有深入的了解，並培養與法學碩士有效合作所需的技能。
（ * 提示工程術語已重新命名為提示。該術語含義過多，可能沒有必要。 ）
更多：來自butated.tivul.com的YouTube影片（我沒有策劃這個，因此不能保證品質）
ai-native應用程式開發。 chatgpt整合。下一代AI應用程式。語言模型的「 App Store」層（包括HuggingFace「 App Store」）。
LLM驅動的自主代理（部落格文章），莉蓮·旺（Lilian Weng），2023年。
法學碩士的潛力不僅限於生成寫得好的副本、故事、論文和程序；它可以被視為一個強大的通用問題解決器。
在LLM驅動的自主劑系統中，LLM充當代理的大腦，並以幾個關鍵組件進行補充：計劃，內存和工具。
挑戰：長期計劃和任務分解，自然語言介面的可靠性。
SMOL開發人員 - 將開發人員嵌入您自己的應用程式中。
檢索系統以存取個人或組織資訊來源。嵌入。為機器學習模型和NLP設計的資料庫和資料儲存。
索引和搜尋文件的向量資料庫
我們想要一個chatgpt替代方案，例如穩定的擴散。
對AI周圍的所有守門感到沮喪？還在等待還是無法進入美洲駝？
目標
最終目標：自托格特的自托版。
教訓
eleutherai的外送一年復古（2021）：
Flan-T5 XXL又名。 chatgpt@home是一種經過指示列出的公共模型。 XXL是11B型號。目前，它是針對CHATGPT的最可比較的模型（DenderionGPT模型是從GPT-3.X系列（型號卡）初始化的）。有24 GB RAM在GPU上使用bitsandbytes-int8推斷為擁抱臉部模型的24 GB RAM進行了成功的嘗試。您可以輕鬆地在單一電腦上運行該模型，而不會降解效能。這可能是改變遊戲規則的遊戲，可以使大型科技公司以外的人能夠使用這些LLM。已經努力創建更好的果皮-T5。社群（即Laion）正在研究Flant5-atlas架構和提示/說明資料集的集合。
開放輔助 - Laion，Yannic Kilcher等人的開源Chatgpt複製。該專案旨在使每個人都可以存取基於聊天的大型語言模型。 （與Yannic Kilcher（視訊））高級計劃開放助理即時編碼：
第1階段：及時收集監督的登入（SFT），並取得模型產生的完成/答案的提示。
階段2：模型產生的多個輸出的人類回饋（例如排名）。顯示了範例五個模型輸出，使用者應將其從最佳到最差排名。
階段3：使用RLHF進行最佳化，我們計劃透過TRLX進行。然後，我們在第2階段和第3階段再次使用這個新模型迭代了多次。
型號將在Summit SuperCuputer（每年約600萬V100 HRS）上進行培訓[來源]
更多信息，請參見上面的LAION LLM建議（Google Doc）。
進步：
2023年2月：JOI-20B教學是在各種指令資料集和基於Neox-20B的20B模型中進行微調的20B模型。
非官方：這是一種早期發行的模型（MVP開發的一部分，第1階段），而不是直接的開放式（OA）模型。它們是ML團隊的實驗，以了解哪些數據，基礎模型，方法對OA的運作良好。正如網站常見問題中所述，尚無演示。這是為了使開發人員測試該模型的早期開發版本調整。也許第一個OA模型將來自這些模型。隨著新資料集的完成，他們一直在滾動訓練良好的模型。 HF集線器上有各種型號從1.4B到20B參數。
Chatty-LMS由HuggingFace H4團隊建造 - 用於測試JOI-20B教學模型的UI。您可以與之聊天。代理商將以JOI（bot暱稱）回覆。
程式碼段的範例，可以在您自己的GPU上運行模型：https：//gist.github.com/cedrickchee/236E53ED2DCA95BD96E5BAA35CDD7BE2
2023年3月：他們目前正在處理從貢獻中收集的數據。數據有超過100k的消息，這意味著數百萬的貢獻。數據的品質超出了他們預期的範圍 - 大多數貢獻都是超級高品質的。現在，他們正在導出資料集的V1。如前所述，他們目前正在培訓最初的模型。
2023年3月11日：開放指導通才（OIG）資料集將發布。 OIG是一個大型開源指令資料集，目前包含約4300萬個說明。
OIG是Laion及其志願者，Ontocord以及開源社群的其他成員的眾多聊天機器人資料集之一，將發布，並旨在創建對聊天機器人技術的平等存取。歡迎每個人使用資料集並為其做出改進。
OIG資料集與Laion的開放助理專案有關。
2023年3月9日：開放式SFT-1 12B型號 - 開放式輔助專案的英語監督 - 調整（SFT）模型的早期原型。它是基於畢曲（Pythia）12b，該12b在2023年3月7日之前收集的助理對話的〜22k人類演示中進行了微調。試試：huggingface空間（簡單快，非官方的聊天機器人UI），Google Consolage。這是有關如何使用GPU在自己的電腦上本地運行該模型的指南。
2023年3月23日：這個計畫開始塑造得很好。模型即將來臨。
/r/ask_open_assistant上有一個非正式的reddit bot。程式碼2023年4月15日：開放式劑正式出現！此版本包括模型，資料集和聊天介面。 [公告視頻，嘗試，模型]
紅迪網子版塊
注意：有關最新信息，請參閱GitHub存儲庫。
carperai/trlx
新聞（2023-01-13）：他們複製了Openai的學習，以使用TRLX庫來匯總紙張。 [報告]
Lucidrains/Palm-Rlhf-Pytorch-（WIP）RLHF在棕櫚結構頂部實現。基本上是changpt，但用棕櫚。開發人員計劃也添加檢索功能，àlaretro。 [鳴叫]
2023年：他們的常見問題中有趣的東西：
沒有訓練有素的模型。這只是船和整體地圖。我們仍然需要數百萬美元的計算 +數據才能在高維度參數空間中航行到正確的點。即使那樣，您仍需要專業水手（例如穩定擴散名望的羅賓·羅姆巴赫（Robin Rombach））才能真正指導船舶穿越動盪的時代。
新聞（2022-12-31）：現在有一個開源替代品的Chatgpt替代品，但運行它的好運 - 我的評論：不。這不是您可以使用的實際訓練模型（無重量）。這只是用於培訓類似於Chatgpt模型的程式碼。此外，培訓數據（ENWIK8）很小。
Carperai的大規模RLHF對準模型（TRLX）與Laion的數據相關的火車將於明年年初發布。 （圖片來源：推文）
Allenai/RL4LMS -RL用於Allen AI的語言模型（RL4LMS）。這是一個模組化的RL庫，可以將語言模型微調為人類的偏好。
GPT-JT透過研究電腦是一個範例，將模型訓練分配到不同電腦（和GPU）的地理分佈。 GPT-JT（6B）是遠離Eleutherai的GPT-J的變體，在文本分類和其他任務上表現出色。在分類基準（例如Raft）上，它靠近更大的最先進模型（例如，Dexptstgpt Davinci V2）！ [論文：在異質環境中基礎模型的分散訓練（2022）]
Leam（歐洲大型AI模型） - 歐盟計劃為開發大規模的Chatgpt型模型提供資金。 [網站，專案文件（英語，PDF），概念文件（德語，PDF）]
/r/aicrowdfund-一個剛開始的地方（2023年），人們可以找到一種大量AI的籌集資金的方法。我不確定他們是否看過花瓣，您可以在家中運行LLM，Bittorrent -style（Federated Learning？）。它似乎朝著這個方向前進。
開源解決方案複製CHATGPT培訓過程 - 他們提供了開源的低成本CHATGPT等效實施過程，包括：
我的印像是，本文的目的是插入其巨大的框架和產品，這是大型模型的平行組件，工具和硬體的集合。坦白說，除非我錯過了什麼，他們的數字確實對我來說確實是可疑的。讓Chatgpt有趣的是RLHF過程。他們確實聲稱完全複製RLHF流程。但是，這篇文章對他們的RLHF實作輕輕觸及。他們使用一個小型的奇特曲目訓練RLHF作為範例資料集進行訓練。他們的RLHF實現詳細資訊在這裡隱藏：https：//github.com/hpcaitech/colossalai/blob/main/main/applications/chatgpt。缺乏演示並沒有激發太多的信心。
FlexGen-在單一GPU上執行LLM，例如Opt-175b/gpt-3（例如，16GB T4或24GB RTX3090遊戲卡）。關鍵特徵：1）比其他卸貨系統快100倍。 2）壓縮模型的參數和注意力緩存，降低到4位的準確度損失可忽略不計。 3）分散式管道並行性。他們還提供了Python腳本和說明，您可以使用OPT型號運行聊天機器人。這應該可以解決LLM推理的高計算和記憶體要求的挑戰。他們使用FlexGEN和OPT型號建構的聊天機器人不是指令調整（RLHF）。因此，這個聊天機器人不像Chatgpt。 [使用單一GPU（紙）的LLM的高通量產生推斷，Stanford等，2023]
