YiVal
v0.1.0a10
2.2リポジトリをクローンします
git clone https://github.com/YiVal/YiVal.git
cd YiVal詩のセットアップ：Python仮想環境を初期化し、詩を使用して依存関係をインストールします。以下のCMD in /YiValディレクトリを必ず実行してください。
poetry install --syncセットアップ後、ランダムテックスタートアップのビジネス名のデータセットを生成することにより、Yivalをすばやく開始できます。
Yivalディレクトリに移動します。
cd /YiVal/src/yival OpenAI APIキーを設定します： $YOUR_OPENAI_API_KEY実際のOpenai APIキーに置き換えます。
macosまたはLinuxシステムについて
export OPENAI_API_KEY= $YOUR_OPENAI_API_KEYWindowsシステムで、
setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY Yival Configurationの定義：次のコンテンツを使用して、自動テストデータセット生成用のconfig_data_generation.ymlという名前の構成ファイルを作成します。
description : Generate test data
dataset :
data_generators :
openai_prompt_data_generator :
chunk_size : 100000
diversify : true
model_name : gpt-4
input_function :
description : # Description of the function
Given a tech startup business, generate a corresponding landing
page headline
name : headline_generation_for_business
parameters :
tech_startup_business : str # Parameter name and type
number_of_examples : 3
output_csv_path : generated_examples.csv
source_type : machine_generated yivalを実行： /YiVal/src/yivalディレクトリ内から次のコマンドを実行します。
yival run config_data_generation.yml生成されたデータセットを確認してください：生成されたテストデータセットはgenerated_examples.csvに保存されます。
Yivalの詳細については、Yival Docsページを参照してください！
| ユースケースデモ | サポートされている機能 | githubリンク | ビデオデモリンク |
|---|---|---|---|
| ？ chatgptとmidjourneyでAIストーリーを作成してください | マルチモーダルサポート：同時テキストと画像のYivalのマルチモーダルサポートを使用して、AIを搭載した物語を設計します。人間のフィードバック（RLHF）からのネイティブおよびシームレスな補強学習をサポートし、AIフィードバック（RLAIF）からの強化学習をサポートします。このユースケースについては、上記のビデオをご覧ください。 | ||
| ？独自のQ＆Aテストデータセットで複数のLLMのパフォーマンスを評価する | Litellmのおかげで、選択したモデルのパフォーマンスを100以上のモデルに対して便利に評価および比較します。カスタマイズされたテストデータまたはユースケースに合わせたモデルパフォーマンスベンチマークを分析します。 | ||
| スタートアップ会社の見出し世代ボット | 自動化されたテストデータの作成、迅速なクラフト、結果評価、およびGPT-4を介したパフォーマンスの向上により、スタートアップの見出しの生成を合理化します。 | ||
| ？カスタマイズされた旅行ガイドボットを構築します | Awesome-chatgpt-Promptsのものなど、旅行コミュニティの最も人気のある提案に触発された自動化されたプロンプトを活用します。 | ||
| より安価な翻訳者を構築する：GPT-3.5を使用してLLAMA2を教えて、推論コストが低い翻訳者を作成します | ReplicateおよびGPT-3.5のテストデータを使用して、LLAMA2の翻訳ボットを微調整できます。 6％のパフォーマンスが低下しながら、18倍の節約の恩恵を受けます。 | ||
| ？€あなたの好きなキャラクターとチャット - 月の終わりまでダンタン・ジ | 自動化された迅速な作成とキャラクタースクリプトの取得を通じて、お気に入りのキャラクターを実現します。 | ||
| ？Python（.py）出力の生成におけるGuardrailsのパフォーマンスを評価します | ガードレール：私のガードレールはどこにありますか？ ？ <br>イヴァル：私はここにいます。 §収<br><br>統合された評価実験は、CSVで80のリートコード問題で実行され、Guardrailを使用し、GPT-4のみを使用して実行されます。精度は0.625から0.55に低下し、Guardrailで低下し、遅延が44％増加し、コストが140％増加します。 Guardrailには、デモから制作までの長い道のりがあります。 | ||
| ？世界中のさまざまな食べ物を視覚化します！？ | 食べ物が属する場所とそれを味わうのに最適な季節を与えてください。シーズン特有の食べ物のビデオを手に入れることができます！？ | ||
| ？CODのニュース記事の要約 | 「密度の鎖」メソッドを統合することにより、テキストの要約におけるエンハンサーの能力を評価します。評価のためにGPT-4によって生成された3つの記事ポイントを使用して、コヒーレントスコアは20.03％増加し、属性スコアは25.18％増加しました！ 、 2054.6-> 1473.4（-28.3％）の平均トークンの使用。 | ||
| ？自動化されたTiktokタイトルジェネレーションボット | 2つの入力行のみを使用すると、目的のターゲットオーディエンスとビデオコンテンツの概要に基づいて、簡潔で洗練されたTiktokビデオタイトルを簡単に作成できます。これは、自動プロンプト機能によって提示されています。プロセスは自動化されているため、要件を入力して、結果を手間をかけないようにすることができます。 |
Yivalに貢献したい場合は、貢献ガイドラインを確認してください。リクエストとバグを追跡するためにGitHubの問題を使用します。一般的な質問と議論については、YivalのDiscordチャンネルに参加してください。研究者やソフトウェアエンジニアとしてのユニークな専門知識が高く評価されている共同コミュニティに参加してください！私たちのプロジェクトに貢献し、コードと研究の洞察のあらゆる行と研究の洞察がテクノロジーの進歩を積極的に促進し、インテリジェントにつながり、普遍的にアクセスしやすい未来を促進する革新的な空間の一部になります。
？ Yivalはあなたの貢献を歓迎します！ ？
？驚くべき貢献者全員に感謝しますか？
| 紙 | 著者 | トピック | Yivalの寄稿者 | データジェネレーター | バリエーションジェネレーター | 評価者 | セレクタ | エンハンサー | config |
|---|---|---|---|---|---|---|---|---|---|
| 大規模な言語モデルは、人間レベルのプロンプトエンジニアです | Yongchao Zhou、Andrei Ioan Muresanu、Ziwen Han | Yival Evolver、自動採用 | openaipromptdatagenerator | openaipromptvariationgenerator | openaipromptevaluator、openaieloevaluator | ahpselector | OpenaipromptBasedCombinationEnhancer | config | |
| BERTSCORE：BERTでテキスト生成を評価します | Tianyi Zhang、Varsha Kishore、Felix Wu | Yival Evaluator、Bertscore、Rouge | @crazycth | - | - | bertscorevaluator | - | - | - |
| アルパカエバル | Xuechen Li、Tianyi Zhang、Yann Dubois et。アル | Yival Evaluator | - | - | アルパカエバルヴァルアレーター | - | - | config | |
| 密度の連鎖 | グリフィン・アダムズ・アレクサンダー・R・ファブリ・他アル | 迅速なエンジニアリング | - | Chainofdencesgenerator | - | - | - | config | |
| オプティマイザーとしての大規模な言語モデル | Chengrun Yang Xuezhi Wang et。アル | 迅速なエンジニアリング | @crazycth | - | - | - | - | Optimize_by_prompt_enhancer | config |
| LORA：大規模な言語モデルの低ランク適応 | エドワード・J・フー・イェロング・シェンらアル | LLM Finetune | @crazycth | - | - | - | - | sft_trainer | config |
