魔法のプロンプト プロジェクト?♂️
このリポジトリには、Generative Pretrained Transformer (GPT)、ChatGPT、PaLM などに焦点を当てた、手作業で選別された Prompt エンジニアリング リソースが含まれています。
目次
- 紙
- ツールとコード
- API
- データセット
- モデル
- AIコンテンツ検出器
- 教育する
- ビデオ
- 本
- コミュニティ
- 貢献方法
紙
?
迅速なエンジニアリング技術:
- Prompt Pattern ディレクトリを使用して ChatGPT Prompt プロジェクトを強化する方法 [2023] (Arxiv)
- 迅速な微調整と発見のための勾配ベースの離散最適化 [2023] (Arxiv)。 - 一般的なヒント: 大規模言語モデルの思考チェーン生成のデモ [2023] (Arxiv)
- 進歩的なプロンプト: 言語モデルの継続的学習 [2023] (Arxiv)
- バッチ処理のヒント: LLM API [2023] による効率的な推論 (Arxiv)
- 複雑な問題を解決するための継続的なプロンプト [2022] (Arxiv)
- 構造的なヒント: コンテキスト学習を 1,000 例に拡張する [2022] (Arxiv)
- 大規模な言語モデルは人間レベルのプロンプト エンジニア [2022] (Arxiv)
- 何でも質問してください: 言語モデルをプロンプトするための簡単な戦略 [2022] (Arxiv)
- GPT-3 を信頼できるものにするためのヒント [2022] (Arxiv)
- 最新のヒント: 複雑なタスクを解決するためのモジュール式アプローチ [2022] (Arxiv)
- PromptChainer: ビジュアル プログラミングによる大規模な言語モデル プロンプトの連鎖 [2022] (Arxiv)
- 拡散モデルにおけるヒントエンジニアリングの調査 [2022] (Arxiv)
- あなたの作品を披露してください: 言語モデルを使用した中間計算のラフドラフト [2021] (Arxiv)
- GPTk を再考するためのヒントを教える [2021] (Arxiv)
- 素晴らしく順序付けされたキューとその発見: 少数のサンプルのキュー順序の敏感性を克服する [2021] (Arxiv)
- パラメーターの効率的な迅速な調整のためのスケールの力 [2021] (Arxiv)
- 大規模言語モデルのプログラミング: 少数ショット パラダイムを超えて [2021] (Arxiv) - プレフィックス チューニング: 生成のための連続ヒントの最適化 [2021] (Arxiv)
推論と文脈学習:
- 言語モデルにおけるマルチモーダル思考連鎖推論 [2023] (Arxiv)
- よく考えてみると、私たちは単一ステップの思考の道を選択していません。ゼロショット推論におけるバイアスと有害性 [2022] (Arxiv)
- ReAct: 言語モデルにおける推論とアクションの相乗効果 [2022] (Arxiv)
- 言語モデルは貪欲な推論者である: 思考連鎖の体系的形式分析 [2022] (Arxiv)
- 推論のための言語モデルの改善に関する進捗状況 [2022] (Arxiv)
- 大規模な言語モデルはゼロショット推論器 [2022] (Arxiv)
- プログラム実行者のような推論 [2022] (Arxiv)
- 自己一貫性により言語モデルにおける思考連鎖推論が改善される [2022] (Arxiv)
- デモンストレーションの役割を再考する: 状況に応じた学習を機能させるものは何ですか? [2022] (アルクシブ)
- 説明を学ぶ: 思考連鎖による科学的 Q&A のためのマルチモーダル推論 [2022] (Arxiv)
- 大規模言語モデルで推論を引き出すための思考チェーン プロンプト [2021] (Arxiv)
- 常識推論のための知識プロンプトの生成 [2021] (Arxiv)
- BERTese: BERT とのコミュニケーションを学ぶ [2021] (Acl)
言語モデルを評価して改善する:
- 大規模な言語モデルは無関係なコンテキストからの干渉を受けやすい [2023] (Arxiv)
- 言語モデルの内部知識ベースのクローリング [2023] (Arxiv) -言語モデルの動作を発見する方法: モデル作成の評価[2022] (Arxiv) 元のリンク
- 使用前に調整する: 言語モデルの数ショット パフォーマンスの向上[2021] (Arxiv) 元のリンク
言語モデルの適用:
- マルチモーダルな悪意のあるミームを分類するためのヒント[2023] (Arxiv) 元のリンク
- 社会的会話合成のためのプロンプト言語モデル[2023] (Arxiv) 元のリンク
- 制御された共感的な会話生成のための常識を意識したプロンプト[2023] (Arxiv) 元のリンク
- プログラム支援言語モデル[2023] (Arxiv) 元のリンク
- 多言語法的判決予測のための法的プロンプトライティング[2023] (Arxiv) オリジナルリンク
- 自然言語を用いたCS1問題解決のためのプロンプトエンジニアリングに関する研究[2022] (Arxiv) 原文リンク
- 事前トレーニング済み言語モデルを使用したプロット作成[2022] (Acl) 元のリンク
- AutoPrompt: 自動生成されたプロンプトを使用して言語モデルから知識を引き出す[2020] (Arxiv) 元のリンク
脅威の検知と対策例:
- 憲法上の人工知能: AI フィードバックによる無害[2022] (Arxiv) 元のリンク
- 前のヒントは無視してください: Attack Techniques for Language Models [2022] (Arxiv) 元のリンク
- 機械生成テキスト: 脅威モデルと検出方法の包括的な調査[2022] (Arxiv) 元のリンク
- 手作りの敵対的サンプルによる事前トレーニング済み言語モデルの感受性の評価[2022] (Arxiv) 元のリンク
- 生成されたヒントを使用した毒性検出[2022] (Arxiv) 元のリンク。 - 言語モデルが認識していることをどのようにして知ることができるのでしょうか? 【2020年】(ミット)
少数ショット学習とパフォーマンスの最適化:
- Promptagator: 8 つの例からの少数ショットの密な検索 [2022] (Arxiv)
- Few-Shot は原文推論における解釈の信頼性の低さを促す [2022] (Arxiv)
- 事前トレーニングされた言語モデルをより優れた少数ショット学習者にする [2021] (Acl)
- 言語モデルは少数回学習型 [2020] (Arxiv)
テキストから画像への生成:
- テキストから画像への生成のためのヒント修飾子分類 [2022] (Arxiv)
- プロンプトエンジニアリングのテキストから画像への生成モデルの設計ガイドライン [2021] (Arxiv)
- 潜在拡散モデルを用いた高解像度画像合成 [2021] (Arxiv)
- DALL・E: テキストから画像を作成 [2021] (Arxiv)
テキストから音楽/サウンド生成:
- MusicLM: テキストから音楽を生成 [2023] (Arxiv)
- ERNIE-Music: 拡散モデルを使用したテキストからウェーブへの音楽生成 [2023] (Arxiv)
- Noise2Music: 拡散モデルを使用したテキスト変調音楽生成 [2023) (Arxiv)
- AudioLM: 言語モデリングに基づくオーディオ生成方法 [2023] (Arxiv)
- Make-An-Audio: 強化されたキュー拡散モデルを使用したテキストからオーディオへの生成 [2023] (Arxiv)
テキストからビデオへの生成:
- Dreamix: ユニバーサル ビデオ エディターのビデオ普及モデル [2023] (Arxiv)。 - ビデオのチューニング: テキストからビデオへの生成のための画像拡散モデルのワンショット チューニング [2022] (Arxiv)
- ノイズから音楽へ: 拡散モデルに基づくテキスト条件付き音楽生成 [2023] (Arxiv)
- Audio LM: オーディオの言語モデル生成方法 [2023] (Arxiv)
概要:
- 副操縦士とコーデックスの操縦: 高温、低温プロンプト、それとも黒魔術? (Arxiv)
ツールとコード
?
名前 | 説明する | リンク |
---|
GPTインデックス | GPT Index は、LLM を使用した大規模な外部ナレッジ ベースの操作を容易にするために設計された一連のデータ構造で構成されるプロジェクトです。 | [ギットハブ] |
プロンプトを出す | LLM を使用して NLP 問題を解決し、Promptify を使用して GPT や PaLM などの一般的な生成モデル用のさまざまな NLP タスク プロンプトを簡単に生成します。 | [ギットハブ] |
より良いプロンプト | LLM プロンプトを実稼働環境にプッシュする前にテスト スイートをテストする | [ギットハブ] |
インタラクティブ コンポジション エクスプローラーx | ICE は、Python ライブラリおよび言語モデル プログラム用のトレース ビジュアライザーです。 | [ギットハブ] |
ラングチェーンス | LLM を組み合わせてアプリケーションを構築する | [ギットハブ] |
オープンプロンプト | 迅速な学習のためのオープンソース フレームワーク | [ギットハブ] |
プロンプトエンジン | このリポジトリには、大規模言語モデル (LLM) プロンプトを作成および維持するための NPM ユーティリティのライブラリが含まれています。 | [ギットハブ] |
AI を促す | GPT-3向けの先進的なワークプレイス | [ギットハブ] |
プロンプトソース | PromptSource は、自然言語プロンプトを作成、共有、使用するためのツールキットです。 | [ギットハブ] |
思考源 | 機械が科学について考えるためのフレームワーク | [ギットハブ] |
アピ
名前 | 説明する | URL | 有料またはオープンソース |
---|
OpenAI | 自然言語タスクには GPT-n、自然言語をコードに変換するには Codex、生画像の作成と編集には DALL·E を使用します。 | 【オープンAI】 | 支払う |
CohereAI | Cohere は、API を介して高度な大規模言語モデルと自然言語処理ツールへのアクセスを提供します。 | 【コヒアAI】 | 支払う |
人間的 | 近日公開 | [人類] | 支払う |
FLAN-T5XXL | 近日公開 | 【ハギンフェイス】 | オープンソース |
データセット
?
名前 | 説明する | URL |
---|
P3 (プロンプトのパブリック プール) | P3 (Public Pool of Prompts) は、さまざまな NLP タスクを含むプロンプト付き英語データ セットのコレクションです。 | [ハグフェイス] |
素晴らしい ChatGPT プロンプト | このリポジトリには、ChatGPT をより効果的に使用するための ChatGPT プロンプト キュレーションが含まれています。 | [ギットハブ] |
?
名前 | 説明する | リンク |
---|
チャットGPT | チャットGPT | 【オープンAI】 |
コーデックス | Codex モデルは GPT-3 モデルの子孫であり、コードを理解して生成できます。そのトレーニング データには、自然言語と GitHub 上の数十億行のパブリック コードが含まれています | [ギットハブ] |
咲く | BigScience 大規模なオープン サイエンス オープン アクセスの多言語言語モデル | [ハグフェイス] |
フェイスブックLLM | OPT-175B は、メタトレーニングされた GPT-3 と同等のモデルです。これは現在利用可能な最大の事前トレーニング済み言語モデルであり、1,750 億個のパラメーターがあります。 | 【アルパ】 |
GPT-NeoX | GPT-NeoX-20B、トレーニングされた 200 億パラメータの自己回帰言語モデル | [ハグフェイス] |
FLAN-T5XXL | Flan-T5 はコマンド調整モデルです。つまり、コマンドが合図の一部として与えられた場合、発火動作はゼロになります。 | [ハグフェイス/Google] |
XLM-ロバータ-XL | XLM-RoBERTa-XL モデルは、100 の言語を含む 2.5 TB のフィルタリングされた CommonCrawl データで事前トレーニングされています。 | [ハグフェイス] |
GPT-J | Pile データセットでトレーニングされた GPT-2 に似た因果言語モデルです | [ハグフェイス] |
|プロンプトの作成| オンライン フォーラム (reddit) から収集した 300K のストーリーとプロンプトの作成 | MidJourneyのパブリック Discord サーバーから収集した大規模なデータセット || rlhf-pytorch | PaLM アーキテクチャでの RLHF (ヒューマン フィードバックによる強化学習) の実装。基本的には ChatGPT ですが、PaLM を追加したものです。 | GPT-Neo は、モデルの並列処理にグリッド テンソル ライブラリを使用します。 | [Github] | LaMDA-rlhf-pytorch | PyTorch を使用した、Google の事前トレーニング済み LaMDA 実装。 ChatGPT と同様の RLHF を追加しました。 | [Github] | ヒューマンフィードバックによる強化学習の実装 [Github] |
AIコンテンツ検出器
?
名前 | 説明する | URL |
---|
AIテキスト分類器 | AI Text Classifier は、テキストの一部が ChatGPT などのさまざまなソースから AI によって生成される可能性を予測できる、細かく調整された GPT モデルです。 | 【オープンAI】 |
GPT-2出力検出器 | ?/Transformersをベースに実装されたRoBERTaのオンラインデモです。 | [ハグフェイス] |
Openai 検出器 | AI によって書かれたテキストを示す AI 分類子 (OpenAI Detector Python ラッパー) | [GitHub] |
チュートリアル
ビデオ
?- ChatGPT Prompt プロジェクトの上級バージョン
- ChatGPT: 初心者のための 5 つの迅速なエンジニアリングのヒント
- CMU Advanced Natural Language Processing 2022: プロンプト
- プロンプトエンジニアリング - 新しいキャリアですか?
- ChatGPT ガイド: より良いプロンプトを使用して結果を 10 倍向上させる
- 言語モデルとプロンプト エンジニアリング: NLP におけるプロンプト手法の系統的調査
- プロンプト エンジニアリング 101: オートコンプリート、ゼロサンプル、単一サンプル、少数サンプルのプロンプト
コミュニティ
?
- OpenAI ディスコード
- プロンプトラボ Discord
- プロンプトを学習する
- r/ChatGPT Discord
- ミッドジャーニーの不和
貢献方法
このリストへの貢献を歓迎します。実際、それが私がこれを作成した主な理由です。大規模言語モデル (LLM) とプロンプト エンジニアリングの分野における新しくエキサイティングな開発の最新情報を入手するために、貢献を奨励し、人々が変更を購読することを奨励するためです。
投稿する前に、投稿ガイドラインをよくお読みください。これらのガイドラインは、あなたの貢献が私たちの目標と一致し、品質と関連性の基準を満たしていることを確認するのに役立ちます。このプロジェクトへの貢献にご興味をお持ちいただきありがとうございます。
画像ソース: docs.cohere.ai