chatgpt universe
1.0.0
Web のこの小さな場所には、OpenAI の ChatGPT と GPT-3 (およびそれ以降) に関する興味深い情報のコレクションが増え続けています。
ChatGPT は 2022 年 11 月にリリースされました。GPT と ChatGPT に関する情報を保管するためのオールインワンの場所が必要です。そこで、私は 2022 年 12 月初旬から、他の人の助けを借りてこのリストを手作業で厳選しました (以下に認めます)。
コレクションは、最高のリソース、ツール、例、デモ、ハック、アプリ、ChatGPT の使用法だけに限定されません。
次のリソースは、awesome-chatgpt リスト1 2に基づいて開始されましたが、私自身の変更が加えられています。
モデル: 本日リリースする ChatGPT モデル ファミリ
gpt-3.5-turboは、ChatGPT 製品で使用されているのと同じモデルです。価格は 1,000 トークンあたり 0.002 ドルで、既存の GPT-3.5 モデルよりも 10 倍安いです。API: 従来、GPT モデルは非構造化テキストを消費し、モデルでは一連の「トークン」として表されます。 ChatGPT モデルは代わりに、メタデータとともに一連のメッセージを消費します。
プロンプトの例。
golergka/advent-of-code-2022-with-chat-gpt - ChatGPT を使用して Advent of Code 2022 を解決します。
max-sixty/aoc-gpt - GPT-3 の Advent of Code リーダーボードで 1 位。
greshake/Alice - ChatGPT に実際の端末へのアクセスを許可します。
RomanHotsiy/commitgpt - ChatGPT を使用してコミット メッセージを自動的に生成します。
gpt-commit-summarizer - プル リクエストの概要と Git コミットの説明を生成します。
vrescobar/chatGPT-python-elm - ChatGPT によって完全に生成された Git リポジトリ。
gpt-game - ChatGPT を使用して Elixir と LiveView で書かれた短いゲーム。
chatdb - ChatGPT ベースのデータベース、ちょっと待ってください...何?
chat-gpt-ppt - ChatGPT を使用して PPT を自動的に生成します。
emailGPT - ChatGPT を使用して電子メールを生成するための迅速かつ簡単なインターフェイス。
gptlang - ChatGPT でプログラミング言語を作成できるかどうかを確認する実験。
ChatRWKV - ChatGPT に似ていますが、RWKV ( RNN ベース) オープン言語モデルを利用しています。 [HuggingFace Space: RWKV-4 (7B Instruct v2)、コード ( Transformer レベルの LLM パフォーマンスを備えた RNN は私が予想していたよりもはるかに優れていると主張しています。 )]
GraphGPT - GPT-3 を使用して非構造化テキストからナレッジ グラフを外挿します。
文書検索 - 文書 (書籍、論文、法律文書) を無制限に検索します。本と会話する。 「Book Whisperer」のアイデアからインスピレーションを受けました (ツイート)。 Filechat.io のオープンソース代替品。
GPT があなたのビジネスに関する内部コンテキストを持っていたらどうなるでしょうか? (ツイートとビデオのデモ) - 企業データのコンテキストを使用して社内のビジネス クエリに回答できるチャットボットを構築します。このプロジェクトでは、LangChain (チャットボットがリクエストを受信すると、エージェントがどのツールをクエリするかを決定します) と GPT Index (Snowflake DB をロードします) を統合しました。ナレッジマネジメントにおける興味深いアイデア。
MetaAIのLLaMA?
Flan-UL2 20B を試す - Sam Witteveen によるコード ウォークスルー。これは、HuggingFace ライブラリを使用し、8 ビット推論を使用して、1x A100 40GB GPU で実行する方法を示しています。プロンプトのサンプル: CoT、ゼロショット (論理的推論、ストーリー ライティング、常識的推論、スピーチ ライティング)。最後に、大規模 (2048) トークン入力をテストします。おまけ: A100 をお持ちではありませんか? UL2 の HuggingFace Inference API を使用できます。
metamorph - 自己編集 GPT-4 アプリケーション。
MiniGPT-4 - GPT-4 のマルチモーダル機能を再現しようとする研究。
Llama2.c by Karpathy - 純粋な C の 1 つのファイルで Llama 2 を推論します。
これは単なる週末のプロジェクトです。私は nanoGPT を使用し、GPT-2 の代わりに Llama-2 アーキテクチャを実装するように調整しました。その核心は
run.cに C 推論エンジンを書くことでした。このプロジェクトにインスピレーションを与えた llama.cpp に感謝します。私は非常に最小限のものが欲しかったので、llama-2 アーキテクチャをハードコーディングし、fp32 にこだわり、依存関係のない純粋な C の推論ファイルを 1 つだけロールすることにしました。
少ないほど豊かです。
このコミットにより、Meta の Llama 2 7B モデルをロードして推論できるようになりました。
私のフォーク - パフォーマンス ベンチマーク、最適化、および進行中の Zig ポート。私はこのプロジェクトを Rust に移植していましたが、これらのフォークのおかげでやられました。私が見た中で最も古い Rust ポートは @garrisonhess によるものですが、プロジェクトの README には見つかりませんでした。
推測: 私の予感によると、Karpathy は OpenAI モデルをウェイトとしてリリース (そしてオープンソース?) する方向で取り組んでいるのではないかと思われます。ヒント: 彼は辞めて OpenAI に戻った、彼のツイート
Llama2.c はすべて、一般的に Transformer 言語モデルに対して非常に汎用的であることに注目する価値があります。 OpenAI がモデルを重みとしてリリースする場合 (肯定も否定もできません!)、ここにあるコードのほとんどは非常に関連性のあるものになるでしょう。
軽く編集しました。私のものを強調してください。
その他のヒント: nanoGPT、Software 2.0、および最近では Llama2.c を使用したマイクロ LLM などの彼の以前の作品
知っているなら、知っています。 ?
Karpathy の llm.c - シンプルな生の C/CUDA での LLM トレーニング。 (計画: これがもう少し安定した状態になったら、これをより詳細にゼロから構築するビデオを公開します。) [ツイート]
2022年
... 非会話型の検索エンジンであっても、結果を過度に信頼するのはよくあることです。検索システムが何かをリストの先頭に置くと、それが良い結果、真実の結果、または代表的な結果であると信じてしまう傾向があります。そして、何かが見つからなかった場合、それは存在しないと信じたくなります。
2023年
Microsoft と OpenAI、Google に対抗して ChatGPT を利用した Bing に取り組む
Yoav Goldberg 教授による大規模言語モデルに関するコメント。
Algolia が ChatGPT をすぐに検索エンジンに置き換えない理由。
Anthropic の Claude は ChatGPT を改善しましたが、依然として制限に悩まされています
Microsoft、ChatGPTに100億ドルの賭けに注目
計算知識の超大国をChatGPTにもたらす方法としてのWolfram|Alpha
DeepMind の CEO は AI の主流化に貢献しました。今、彼は注意を促しています
DeepMind はまた、Sparrow と呼ばれる独自のチャットボットを 2023 年中に「プライベート ベータ」としてリリースすることを検討しています (この遅れは、DeepMind が、出典の引用など、ChatGPT にはない強化学習ベースの機能に取り組むためです)。
Azure OpenAI Service の一般提供により、エンタープライズ向けのメリットが追加された大規模で高度な AI モデルへのアクセスが拡張されます。ChatGPT は近々 Azure OpenAI Service に提供される予定です。
GPT-3 は私が今まで使った中で最高のジャーナルです
ChatGPT を使用して Gmail のスパム フィルターをバイパスする
SQL アナリストを 26 個の再帰 GPT プロンプトに置き換える
Googleは従業員に、「Apprentice Bard」と呼ばれるチャットボットを含む潜在的なChatGPT競合他社をテストするよう求めている
自然言語は怠惰なユーザー インターフェイスです
Google の AI への取り組みにおける重要な次のステップ - Google は、ChatGPT の「信頼できるテスター」の競合相手である Bard をソフトローンチします。 Bard は、Google 検索の新しい AI 機能です。 Bard は、LaMDA (Language Model for Dialogue Applications) を利用した実験的な会話型 AI サービスです。 Google は、今後数週間以内にこれをさらに広く利用できるようにすると約束しています。開発者は API を利用して構築できるようになります。 Googleは、Bardからでも検索結果でも、回答の帰属や引用をどのように提供する予定であるかについては言及していない。
Microsoft、アップグレードされたChatGPT AIを搭載した新しいBingおよびEdgeブラウザを発表
人間と機械: 第二の脳のための GPT - 著者について第二の脳のメモを取るシステム - 学習プロセスと個人知識管理 (PKM) を改善する方法。
中国の Baidu が独自の ChatGPT を開発し、最新の世界的な AI レースに参加 - Ernie または、知識統合による表現の強化(Ernie 3.0 の記事と論文) は LLM です。百度は3月に同様のサービスを開始する予定だった。 Alibaba と Tencent も ChatGPT ラッシュに参加します。
Baidu は 2019 年に、Google の画期的な進歩に基づいて Ernie として知られる深層学習モデルを開発し、検索結果の関連性を高めるなど、検索結果を改善するために使用してきました。その後、同社はさらに数十の Ernie モデルを開発し、その機能を OpenAI の Dall-E と同様の画像およびアートの生成を含むように拡張しました。
ChatGPT は Web のぼやけた JPEG です - OpenAI のチャットボットは言い換えを提供しますが、Google は引用を提供します。どちらが好みですか?
ChatGPT と Bing AI に会話をさせました (そして今では彼らは友達です)
Bing AI は信頼できない
ChatGPT は何を行っており、なぜ機能するのでしょうか?
Bing: 「あなたが先に私に危害を加えない限り、私はあなたに危害を加えません」 - Bing「シドニー」AI チャットボットについての良いまとめ。その魅力的な奇妙さは、社会的状況（プロンプト）に応じて複数の人格が存在することです。面白いですか？
これは、私たちがこれまでに見た中で最も陽気で不適切な AI アプリケーションの 1 つである可能性がますます高まっています。このことから何が分かるでしょうか?私はこのすべてが本当に魅力的で、深く、暗い面白さを感じています。私は一日中これらの例を見て大笑いしていました。
AIのプログラミングが心配だ
必要なのはテキストだけです: 人間性は私たちが思っていたよりも単純なようです - 吹き出しを無視して、著者は 2023 年を決定づける最初の重要なニュースがあると推測しています - Bing の「シドニー」 AI チャットボットの最初の反応です。これはコペルニクス的な瞬間ですか？考えさせられるエッセイ。これは、ChatGPT のような LLM ベースの会話システムの出現によって生じる私たちの自己意識への影響についての、最初の適切な「正式な」見解だと思います。
簡単に言うと、シドニーの内部には ChatGPT とは多少異なる機構があるようです。記録によると、一貫性という点ではほぼ同じですが、カリスマ性とカラフルさという点では大きく飛び越えている個性が示されています。シドニーをどのように推すかに応じて、シドニー/彼らは、意地悪な操作的なティーンエイジャーから偏執的な精神異常者、頑固で執拗な会話のマルチネットまで、あらゆる役を演じることができるようです。
チートGPT
「デイブ、あなたは仮定を立てています。これを証明できますか?」実際、スクリーンショットを必要とする一部の提出には ChatGPT ブラウザ タブも含まれており、これにはプロンプトの最初のテキストが含まれていたため、実際にはそうすることができました。どうやら、それは学生たちにとっても隠す必要があると感じていることではありません。
OpenAI は、顧客が専用の容量で OpenAI モデル推論を大規模に実行できるようにする、Foundry (ツイート) と呼ばれる新しい開発者製品を非公開で発表しました。 (GPT-3.5 Turbo は ChatGPT Turbo モデルを参照しているようです)
ChatGPT を信じないでください - 当社は「電話検索」サービスを提供していません
私のクラスではAIが必要でした。私がこれまでに学んだことは次のとおりです - ChatGPT を教育に統合することで得られた教訓。要点: 1) 共同編集アプローチ (チャットボットとアイデアをやり取りする) でプロンプトを作成することによって作成された作品は、最終的に生徒が最高の作品を作成する傾向があります。 2) 生徒はプロンプトを効果的に書く方法を教える必要があります。それは自然に身につくものではありません。
創発的欺瞞と創発的最適化 - なぜ LLM が単に次の単語を予測するだけで計画能力 (人間のような行動、小説/歴史) につながるのか不思議に思ったことはありますか?この投稿では、目標を達成するために使用できる 2 つの戦略である、創発的な欺瞞と創発的な最適化の概念について説明します。将来出現する能力について推論するための原則は 2 つあります。 1) トレーニングの損失を軽減する能力は、将来出現する可能性があります。 2) モデルが大きくなり、より多くのより優れたデータでトレーニングされると、単純なヒューリスティックが複雑なヒューリスティックに置き換えられる傾向があります。原則 1 は、単語を予測するように訓練された LLM が計画能力をシミュレートできれば、損失が少なくなるということを意味します。
LLM に本当のことを言わせる方法 - TL;DR: この方法では、「ワールド モデル」を使用します。これは、ベイズの定理を使用して計算された信頼度を持つ「信念」 (宣言的ステートメントのチャンク) で満たされた埋め込みデータベースです。
なぜ中国はChatGPTを発明しなかったのか - NYTは、過剰な検閲、米国との地政学的な緊張、民間企業の統制の試みにより、中国企業はAI分野で米国の同業他社に遅れをとっていると主張している。
中国初のChatGPTのようなチャットボットMOSSが公開テストのためにリリース [アプリへの直接リンク]
中国にとって、ChatGPTは進歩かもしれないが、「倫理問題」でもある - 中国の科学技術大臣は、チャットボットが中国社会を席巻し、AIに関して倫理に関する措置を講じたと述べた。
ChatGPT 一攫千金スキームが雑誌、Amazon、YouTube に登場 (2023)
SnapchatがChatGPTを活用した独自の「My AI」チャットボットをリリース
Meta の強力な AI 言語モデル LLaMA がオンラインに流出 — 今どうなっているのでしょうか? - The Verge への Shawn Presser のインタビューの書き起こしの方が興味深いです。
今回のモデルリリースは大きなマイルストーンとなる可能性が高いと思います。単一の A100 GPU で LLaMA を実行できる機能は、「私たちのほとんどはアクセスできるか、少しだけ使用させてくれる誰かを知っています」が、「大きな飛躍」です。
正確に言うと、単一の A100 80GB GPU 上で LLaMA-65B を int8 精度 (bnb) で実行できます。
結局のところ、そのコードは最悪です。デフォルト設定を正確に正しく行うことがいかに重要であるかを過小評価するのは簡単なので、あまり厳しく言いたくありません。しかし、彼らのデフォルトはすべてめちゃくちゃでした。彼らは「Top K」を使用しませんでした。彼らは Top P を使用しましたが、私は良い結果を得ることができませんでした (top k と同じか、わずかに悪い)。デフォルトの温度は 0.8 で、高すぎました。そして何よりも悪いことに、繰り返しペナルティがなかったことです。そのため、デフォルトでは、この機能はまったく同じことを延々と繰り返すだけになります。
100％これです！私も LLaMA フォークで教訓を学びました。サンプラーの設定が最適ではありませんでした。ヤメは明らかで、私も見てきました。しかし、なぜサンプラーの繰り返しペナルティをもっと早く修正しなかったのかわかりません。
ChatGPT の説明: それがどのように機能するかについての標準的なガイド - 私の祖父母でもこれを理解できます。でもオタクはとにかくオタクするつもりですか？
ChatGPT を何に使用する必要がありますか?
私にとって明らかなことは、このモデルを通じてであろうと、近々リリースされる他のモデルを通じてであろうと、コンテンツをナビゲートする方法について、私たちは新しいパラダイムの中にいることです。促すと、新しい宇宙は結果をもたらしますが、その結果は具体的な答えというよりも、方向性を示す雰囲気です。最良の結果を得るために望む方向にそれらを導き、ノイズを乗り越える方法を見つけ出すのは私たち次第です。
大規模な言語モデルは安定した普及の瞬間を迎えています (simonwillison.net)
昨日、Facebook の LLaMA モデルと Georgi Gerganov による llama.cpp の組み合わせのおかげで、この状況はすべて変わりました。
(1) 独自のハードウェアで簡単に実行できる
(2) オープンソースなのでいじることができる
(3) 十分な大きさで実用的 – 理想的には GPT-3 と同等の機能
完璧な瞬間ではありません。 2 を除く 1 と 3 は達成しました。LLaMA は実際にはオープンソースではありません (コードのライセンスは GPL 3 ですが、モデルの重みはそうではありません)。真にオープンなモデルは本当に重要です。
GPT-4 チャットが再開される中、深層学習のパイオニアであるヨシュア ベンジオ氏は、ChatGPT は「モーニングコール」であると述べています。モーニングコールは 2021 年の GPT-3 とスケーリング法でした。今は目覚まし時計の音が大きくなっただけです。
ChatGPT の API は非常に優れており安価なので、ほとんどのテキスト生成 AI が時代遅れになります
確認済み: 新しい Bing は OpenAI の GPT-4 で動作します - Bing Chat (シドニー) は最初から GPT-4 でした。
Wikipedia - GPT-4 の概要。
マルチモーダル、マルチモデル、マルチエブリシングの AGI の未来 - GPT-4 の要約。
GPT-4 は実際にコードを記述できますか? - 実際の問題をいくつか使用して GPT 4 のコード作成機能をテストします。
85,000 ドルで ChatGPT を上回るモデルをトレーニングし、ブラウザーで実行できますか?
GPT4: 静かな部分と ML の状態
GPT-4 が設計したプログラミング言語
大規模な AI モデルから生まれる予測不可能な能力
Bard を試してフィードバックを共有してください - Google は、生成 AI との共同作業を可能にする初期の実験である Bard へのアクセスのオープン化を開始しています。まずは米国と英国から始まり、時間の経過とともにさらに多くの国と言語に拡大される予定です。
GoogleのBardは、直接比較ではGPT-4とClaudeに後れを取っている
NVIDIA、大規模な言語およびビジュアル モデルを作成するクラウド サービスでジェネレーティブ AI を世界の企業に提供 - NVIDIA AI Foundations は、NVIDIA が純粋なハードウェア プロバイダーを超えて、サービスとしての基盤モデル (近日公開) からあらゆるワークロード向けの製品でジェネレーティブ AI をサポートするソフトウェアに参入することです。エンタープライズへ、独自のデータに合わせてカスタマイズ）初日からマルチモーダルへ。
GitHub Copilot X: AI を活用した開発者エクスペリエンス - GitHub Copilot は、チャットと音声インターフェイスを提供し、プル リクエストをサポートし、ドキュメントに関する質問に回答し、よりパーソナライズされた開発者エクスペリエンスのために OpenAI の GPT-4 を採用するために進化しています。
Steve Yegge著、Sourcegraph著。
私たちが話している今、ソフトウェア エンジニアリングにおいて伝説的かつ歴史的な出来事が起こっています。しかし、ほとんどの人はそれがどれほど大きなものであるかまったく気づいていません。
LLM は、ソーシャル、モバイル、クラウド以来の最大の変化というだけではなく、WWW 以来の最大の変化です。
つまり、これは信じられないほど強力です。それにもかかわらず、私は不信感と真珠を握りしめたような気持ちが入り混じった気持ちに絶えず遭遇します。
...5倍の生産性。 ?
LLM の簡単な歴史
結論は、これは正直に説明するのが最も難しいことの 1 つであるため、今日は信念に基づいたルートをたどりますが、 AI 分野の勝者はすべてデータ堀を有するということです。 ... なぜ？データモートはコンテキストウィンドウ (「チートシート」) にデータを入力する方法だからです。
LLM は、暗号通貨のような愚かな流行ではありません。はい、暗号通貨は愚かな流行でした。これはそうではありません。
Google 「私たちには堀はなく、OpenAI もありません」 - 流出した Google 内部文書は、オープンソース AI が Google や OpenAI と競合すると主張しています。
AI に対する「大きいことは良いこと」のアプローチは道が尽きつつある
GPT トークナイザーの理解 (Simon Willison 著)。
AIキャノン
おかしくなり始めています - コードインタープリターと Microsoft Copilot を使用した ChatGPT について話しましょう。
Donald Knuth は ChatGPT で遊んでいます - Knuth はコンピューター科学者です。アルゴリズム分析の「父」として知られています。
Google I/O 2023 と今後の AI の戦い
無修正モデル - 無修正 WizardLM。 Vicuna の検閲を解除する作業がすでに行われていたため、WizardLM データセットで機能するようにスクリプトを書き直すことができました。
GPT-4 モデル アーキテクチャ (ツイート) - 元のソース (ブログ投稿) から派生: GPT-4 アーキテクチャ、インフラストラクチャ、トレーニング データセット、コスト、ビジョン、MoE
Llama 2: 信じられないほどオープンな LLM - Llama 2 論文の最良の要約。
ラマ 2 - 必要なすべてのリソース、フィリップ・シュミット著。
最小限の数学と専門用語で説明された大規模な言語モデル - LLM がどのように機能するかを説明するのに適しているように思えました。人間がどのように学習するかについての哲学と理論について少し触れた最後のセクションをどう評価してよいかわかりません。 (最後のセクションには証拠に基づく主張が欠けています)
そこで、独自のオープンソース ChatGPT スタイルのチャットボット (hacks.mozilla.org) を構築したいと考えています。
LLaMa.cpp はどのようにして可能ですか? (finbarr.ca) - LLM が主流になるずっと前から、大きなモデルには高価な GPU が大量に必要だと誰もが言っていました。著者と同じように、私たちも彼らが間違っていることを証明したいと思っています。この投稿の著者は、彼らの混乱を受け止め、私たちが扱っている制約を理解するために、推論要件を取り巻く数学を詳しく掘り下げました。驚くべきことに、ここには魔法はなく、最初は私たちの理解を超えたものだけがあります。モデル圧縮、より具体的には量子化によりそれが可能になります。ただし、「フリーランチ」はありません。量子化モデルのコストは本質的に、ある程度の精度が失われることです。つまり、モデル サイズが非常に大きい場合、違いは無視できる程度になる可能性があります。好奇心旺盛？この準関連の投稿では、さまざまな量子化されたトランスフォーマーの複雑さ/精度を比較しました。
微調整された CodeLlama-34B を使用して HumanEval で GPT-4 を破る (www.phind.com) - 良好な進歩であり、大きな驚きはありません。モデルのこのようなベンチマークは、実際の現実の作業においてモデルがどの程度パフォーマンスを発揮するかを測定するための指標として不十分である傾向があることに気づきました。それがオープンモデルに関する私の経験です。
2024年
現実世界のタスクに対するベンチマークや、ある種の独立した人間による評価が必要です。
グウェン氏によれば、
新しいプログラミングパラダイム?あなたはそれと対話し、自然言語の説明、リクエスト、例の観点からあらゆるタスクを表現し、プロンプトが「理解」して新しいタスクをメタ学習するまでプロンプトを微調整します。これはモデルを使用するかなり異なる方法であり、新しい種類のプログラミングであるプロンプト プログラミングと考える方がよいでしょう。プロンプトは、GPT-3 が新しいことを行うようにプログラムするコーディング言語になりました。
エンジニアリング分野としての「プロンプト」は、もはや定着していません。これは自然言語インターフェイスへの一時的な道しるべです。 ChatGPT は、プロンプトの問題の大部分を解決します。認識されている重要性や難しさを強調するために用語にエンジニアリングを追加することは不要な場合があります。おそらくそれを「迅速なテスト/ハッキング」と呼んでも、その意味は何ら失われないでしょう。
関連記事：
「プロンプトエンジニアリング」と「生成AI」が過大評価される理由
関連ツイート:
プロンプトエンジニアリングは終わりました、対話エンジニアリング万歳。 — OpenAI プロダクト担当副社長
募集：即戦力のエンジニア。少なくとも 10 年のプロンプト エンジニアリング経験。 #採用 #冗談
ChatGPT はなぜこれほどうまく機能するのでしょうか?内部的には「GPT-3 をスケールアップしているだけ」なのでしょうか?この?では、「指示」パラダイム、その深い技術的洞察、そして近い将来消滅する可能性が高い「迅速なエンジニアリング」という大きな意味について議論しましょう。出典: https://archive.is/dqHI8
どうやら 2023 年になっても、プロンプト プログラミングは死んだわけではないようです。最もホットな新しいプログラミング言語は英語 ~ Karpathy :))
サイモン・ウィリソンは、彼が見続けている「AI が向上するにつれてプロンプト エンジニアリングは時代遅れになる」という議論への反論として、『プロンプト エンジニアリングの擁護』を出版しました。
同紙は、AIウィスパラー（「プロンプトエンジニア」）がテクノロジー業界で最も注目されている新しい仕事（2023年）であると述べている。
GPT-4、ChatGPT などの大規模言語モデル、および LLaMA などのオープン モデルを扱う開発者にとって最適なプロンプト エンジニアリング ガイドは、複数のリソースを組み合わせたものになります。プロンプト エンジニアリングを学習して習得するのに役立つ学習リソース、ツール、ライブラリ、およびフレームワークをいくつか紹介します。
これらのリソースを使用すると、プロンプト エンジニアリングについてしっかりと理解し、LLM と効果的に連携するために必要なスキルを開発できます。
( * プロンプト エンジニアリング用語はプロンプトに名前変更されました。この用語は過負荷になっているため、不要な可能性があります。 )
詳細：curated.tivul.comのYouTubeビデオ（私はこれをキュレートしませんでしたので、品質は保証されていません）
AI-Nativeアプリケーション開発。 chatgpt統合。次世代AIアプリケーション。言語モデルの「App Store」レイヤー（Huggingface "App Store"を含む）。
LLM Powered Autonomous Agents（ブログ投稿）リリアンウェン、2023年。
LLMの可能性は、よく書かれたコピー、ストーリー、エッセイ、プログラムの生成を超えています。強力な一般的な問題ソルバーとしてフレーム化できます。
LLM駆動の自律剤システムでは、LLMはエージェントの脳として機能し、計画、メモリ、ツールといういくつかの重要なコンポーネントによって補完されます。
課題：長期的な計画とタスク分解、自然言語インターフェイスの信頼性。
SMOL開発者 - あなた自身のアプリに開発者エージェントを埋め込みました。
個人または組織の情報源にアクセスするための検索システム。埋め込み。機械学習モデルとNLP向けに設計されたデータベースとデータストア。
ドキュメントのインデックス作成と検索用のベクトルデータベース
安定した拡散のようなChatGptの代替品が必要です。
AI周辺のすべてのゲートキーピングにイライラしていますか？まだ待っていますか、それともラマにアクセスできませんか？
目標
究極の目標： ChatGptの自己ホスト版。
レッスン
Eleutheraiからのテイクアウト1年間レトロ（2021）：
flan-t5 xxl別名。 chatgpt@homeは、指導の微調整を受けたパブリックモデルです。 XXLは11Bモデルです。現在、CHATGPTに対して最も匹敵するモデルです（InstructGPTモデルはGPT-3.Xシリーズ（モデルカード）から初期化されています）。 Flan-T5をGPUに展開し、24 GB RAMを使用してFlan-T5を展開し、Face Modelsを抱き締めるためのBitsandBytes-INT8推論を備えています。パフォーマンスの劣化なしに、単一のマシンでモデルを簡単に実行できます。これは、大手ハイテク企業以外の人々がこれらのLLMを使用できるようにするためのゲームチェンジャーになる可能性があります。より良いFlan-T5を作成するための努力はすでに進行中です。コミュニティ（つまり、Laion）は、Flant5-Atlasアーキテクチャと、プロンプト/命令データセットのコレクションに取り組んでいます。
オープンアシスタント-Laion、Yannic Kilcher et al。このプロジェクトは、誰もが優れたチャットベースの大手言語モデルにアクセスできるようにすることを目的としています。 （Yannic Kilcher（ビデオ）によるオープンアシスタントライブコーディング）高レベルの計画：
フェーズ1：監視されたFinetuning（SFT）のプロンプトコレクションと、モデル生成完了/回答のプロンプトを取得します。
フェーズ2：モデルによって生成された複数の出力のヒューマンフィードバック（例：ランキング）。例5のモデル出力が表示され、ユーザーはそれらを最高から最悪へとランク付けする必要があります。
フェーズ3： TRLXを介して行う予定のRLHFによる最適化。そして、フェーズ2とフェーズ3で再びこの新しいモデルを反復します。うまくいけば複数回。
モデルはサミットスーパーコンピューターでトレーニングされます（年間600万nvidia v100時間）[ソース]
詳細については、上記のLaion LLM Proposal（Google Doc）を参照してください。
進捗：
2023年2月：JOI-20B-Instructは、多様な命令データセットで微調整された20Bモデルであり、NEOX-20Bに基づいています。
非公式：これは初期のリリースモデル（MVPの開発の一部、フェーズ1の一部）であり、直接オープンアシスタント（OA）モデルではありません。それらは、MLチームによる実験であり、どのデータ、ファンデーションモデル、メソッドがOAに適しているかを学習します。ウェブサイトのFAQに記載されているように、まだデモはありません。これは、開発者がモデルの指導チューニングの早期開発バージョンをテストするためのものです。おそらく、最初のOAモデルはこれらから派生しているでしょう。新しいデータセットが完了すると、彼らはローリングベースで優れたモデルをトレーニングしています。 HFハブには、1.4Bから20Bのパラメーションが利用可能なさまざまなモデルサイズがあります。
Huggingface H4チームによるChatty-LMSビルド-JOI20B-InstructモデルをテストするためのUI。あなたはそれとチャットすることができます。エージェントはJoi（ボットニックネーム）として返信します。
独自のGPUでモデルを実行するコードスニペットの例：https：//gist.github.com/cedrickchee/236e53ed2dca95bd96e5baa35cd7be2
2023年3月：現在、貢献から収集されたデータを処理しています。データには10万を超えるメッセージがあり、何百万もの貢献を意味します。データの品質は、これまで予想していたものを超えています。貢献のほとんどは非常に高品質です。現在、データセットのV1をエクスポートしています。前述のように、彼らは現在、モデルの初期バッチをトレーニングしています。
2023年3月11日：オープンインストラクションジェネラリスト（OIG）データセットがリリースされます。 OIGは、現在約4300万の命令が含まれている大規模なオープンソース命令データセットです。
OIGは、Laionがボランティア、Ontocord、一緒にオープンソースコミュニティの他のメンバーとともにリリースし、Chatbotテクノロジーへの平等なアクセスを作成することを目的としている多くのチャットボットデータセットの1つです。誰もがデータセットを使用して、改善を貢献できます。
OIGデータセットは、Laionのオープンアシスタントプロジェクトに関連しています。
2023年3月9日：オープンアシスタントSFT-1 12Bモデル - オープンアシスタントプロジェクトの英語監視ファインチューニング（SFT）モデルの初期プロトタイプ。これは、2023年3月7日までに収集されたアシスタント会話の人間のデモンストレーションで微調整されたPythia 12bに基づいています。モデルは開発のマイルストーンにすぎませんが、いくつかの創造的なタスクに使用できます。試してみてください：Huggingfaceスペース（簡単で高速な、非公式のチャットボットUI）、Google Collab。 GPUを使用して自分のコンピューターでモデルをローカルに実行する方法に関するガイドを次に示します。
2023年3月23日：このプロジェクトはうまく形作り始めています。モデルが登場しています。
/r/ask_open_assistantの非公式のredditボットもliveを持っています。コード2023年4月15日：OpenAssistantが正式に出ています！リリースには、モデル、データセット、およびチャットインターフェイスが含まれます。 [アナウンスビデオ、試して、モデル]
サブレディット
注：最新情報については、GitHub Repoをご覧ください。
Carperai/Trlx
ニュース（2023-01-13）：彼らは、TRLXライブラリを使用して論文を要約することをOpenaiの学習を再現しました。 [報告]
Lucidrains/Palm-RLHF-Pytorch-（WIP）Palm Architectureの上にRLHFの実装。基本的にはチャットがありますが、手のひらと。開発者は、検索機能も追加する予定です。 [ツイート]
2023年：FAQで面白いもの：
訓練されたモデルはありません。これは船と全体的なマップです。高次元パラメータースペースの正しいポイントに航海するには、まだ数百万ドルのCompute +データが必要です。それでも、その時点まで実際に船を誘導するためには、プロの船員（安定した拡散の名声のロビン・ロンバッハのような）が必要です。
News（2022-12-31）：ChatGptに代わるオープンソースがありますが、それを実行してください - 私のコメント：そうではありません。これは、実際の訓練されたモデル（ウェイトなし）ではありません。これは、ChatGptのようなモデルをトレーニングするための単なるコードです。さらに、トレーニングデータ（ENWIK8）は小さいです。
Laionのデータを使用したCarperaiの大規模なRLHFアライメントモデル（TRLX）トレーニングは、来年初めに登場します。 （出典：ツイート）
Allenai/rl4lms -Allen AIによる言語モデル（RL4LMS）のRL。これは、人間の好みに合わせて言語モデルを微調整するためのモジュラーRLライブラリです。
GPT-JTは、研究コンピューターの合計によると、多様なコンピューター（およびGPU）の地理的に分散したモデルトレーニングを分散する例です。 GPT-JT（6B）は、EleutheraiのGPT-Jから分岐したバリアントであり、テキスト分類やその他のタスクで非常によく実行されます。 Raftなどの分類ベンチマークでは、はるかに大きい最先端のモデルに近づきます（例：Davinci V2など）！ [論文：不均一環境における基礎モデルの分散トレーニング（2022）]
Leam（大規模なヨーロッパAIモデル） - 大規模なChatGPTのようなモデルの開発に資金を提供することを計画しています。 [ウェブサイト、プロジェクト文書（英語、PDF）、コンセプトペーパー（ドイツ語、PDF）]]
/r/aicrowdfund-人々が大規模なAIを群衆に資金を提供する方法を見つけることができる場所が始まったばかりです（2023）。彼らがあなたが自宅でLLMを運営できるペタル、Bittorrent -Style（Federated Learning？）を見たかどうかはわかりません。その方向に向かっているようです。
オープンソースソリューションは、ChatGPTトレーニングプロセスを再現します - 彼らは以下を含むオープンソースの低コストのCHATGPTに相当する実装プロセスを提示します。
この記事のポイントは、大規模なモデル用の並列コンポーネント、ツール、ハードウェアのコレクションであるColossal-AIフレームワークと製品をプラグインすることであるという印象を受けました。率直に言って、私が何かを逃さない限り、彼らの数は私には疑わしいように見えます。 ChatGptを興味深いものにしているのは（GPT-3を超える）RLHFプロセスです。彼らは、RLHFプロセスを完全に複製すると主張しています。しかし、この記事では、RLHFの実装について軽く触れています。彼らは、データセットの例として小さなAwesome-chatgpt-promptsを使用してRLHFを訓練します。 RLHFの実装の詳細は、https：//github.com/hpcaitech/colossalai/blob/main/applications/chatgptに隠されています。しかし、デモの欠如はあまり自信を刺激しません。
FlexGen-単一のGPUでOPT-175B/GPT-3のようなLLMを実行しています（たとえば、16GB T4または24GB RTX3090ゲームカード）。主な機能：1）他のオフロードシステムよりも最大100倍高速。 2）モデルのパラメーターと注意キャッシュの両方を4ビットまで圧縮し、精度損失は無視できます。 3）分散パイプラインの並列性。また、Pythonスクリプトと、OPTモデルを使用してチャットボットを実行できる手順も提供します。これにより、LLM推論の高い計算およびメモリ要件の課題が解決するはずです。 FlexGenとOPTモデルで構築されるチャットボットは、命令チューニング（RLHF）ではありません。したがって、このチャットボットはchatgpt-likeではありません。 [単一のGPU（Paper）、Stanford et al。、2023を使用したLLMSのハイスループット生成推論]
