YiVal
v0.1.0a10
2.2克隆存儲庫
git clone https://github.com/YiVal/YiVal.git
cd YiVal用詩歌設置：初始化Python虛擬環境並使用詩歌安裝依賴項。確保在/YiVal目錄中運行以下CMD：
poetry install --sync設置後，您可以通過生成隨機技術啟動業務名稱的數據集快速開始Yival。
導航到Yival目錄：
cd /YiVal/src/yival設置OpenAI API鍵：用實際的OpenAI API鍵替換$YOUR_OPENAI_API_KEY 。
在MacOS或Linux系統上，
export OPENAI_API_KEY= $YOUR_OPENAI_API_KEY在Windows系統上，
setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY定義yival配置：創建一個名為config_data_generation.yml的配置文件，用於自動化測試數據集生成以下內容：
description : Generate test data
dataset :
data_generators :
openai_prompt_data_generator :
chunk_size : 100000
diversify : true
model_name : gpt-4
input_function :
description : # Description of the function
Given a tech startup business, generate a corresponding landing
page headline
name : headline_generation_for_business
parameters :
tech_startup_business : str # Parameter name and type
number_of_examples : 3
output_csv_path : generated_examples.csv
source_type : machine_generated執行Yival ：從/YiVal/src/yival目錄中運行以下命令：
yival run config_data_generation.yml檢查生成的數據集：生成的測試數據集將存儲在generated_examples.csv中。
有關Yival的更多詳細信息，請參考Yival文檔頁面！
| 用例演示 | 支持的功能 | github鏈接 | 視頻演示鏈接 |
|---|---|---|---|
| ？用Chatgpt和Midjourney製作您的AI故事 | 多模式支持：使用Yival對同時文本和圖像的多模式支持設計AI驅動的敘述。它支持從人類反饋（RLHF）和AI反饋（RLAIF）學習的本地和無縫增強學習。請觀看上面的視頻以獲取此用例。 | ||
| ？使用您自己的問答測試數據集評估多個LLM的性能 | 得益於Litellm，可以方便地評估和比較您選擇的模型與100多個模型的性能。分析根據您的自定義測試數據或用例量身定制的模型性能基準。 | ||
| 啟動公司標題生成機器人 | 通過自動測試數據創建，提示製作，結果評估和通過GPT-4提高企業的初創企業的頭條新聞。 | ||
| ？構建定制的旅行指南機器人 | 利用自動化提示，靈感來自旅行社區最受歡迎的建議，例如來自Awesome-Chatgpt-Prompts的建議。 | ||
| 構建一個便宜的翻譯器：使用GPT-3.5教Llama2創建推理成本較低的翻譯器 | 使用重複和GPT-3.5的測試數據，您可以微調Llama2的翻譯機器人。從18倍節省下來，同時只有6％的性能下降。 | ||
| ？與您最喜歡的角色聊天 - 丹坦·吉（Dantan Ji） | 通過自動及時創建和角色腳本檢索來使您最喜歡的角色栩栩如生。 | ||
| 評估護欄在產生Python（.py）輸出時的性能 | 護欄：我的護欄在哪裡？ ？ <br> Yival：我在這裡。 <br><br>綜合評估實驗是在CSV中使用80個Leetcode問題進行的，僅使用Guardrail，僅使用GPT-4。隨著護欄的情況，準確性從0.625下降到0.55，潛伏期增加了44％，成本增加了140％。從演示到製作還有很長的路要走。 | ||
| ？可視化世界各地的不同食物！ | 只需提供食物所屬的地方和品嚐它的最佳季節，您就可以獲得特定於季節的食物的視頻！ | ||
| 鱈魚的新聞文章摘要 | 通過整合“密度鏈”方法，可以評估增強子在文本摘要中的能力。使用GPT-4產生的3個文章點進行評估，相干分數增加了20.03％ ，歸因分數增加了25.18％！ ，從2054.6-> 1473.4（-28.3％）開始的平均令牌用法。 | ||
| ？自動tiktok title Generation Bot | 只有兩條輸入線，您可以根據所需的目標受眾和視頻內容摘要輕鬆地創建簡潔而拋光的Tiktok視頻標題。這是由我們的自動推出功能提出的：該過程是自動化的，因此您可以輸入您的要求並享受無麻煩的結果！ |
如果您想為Yival做出貢獻，請務必查看貢獻指南。我們使用GitHub問題來跟踪請求和錯誤。請加入Yival的Discord頻道進行一般性問題和討論。加入我們的合作社區，您作為研究人員和軟件工程師的獨特專業知識非常有價值！為我們的項目做出貢獻，並成為創新空間的一部分，在該空間中，每條代碼和研究洞察力都積極地為技術增長提供了進步，從而促進了一個智能聯繫和普遍訪問的未來。
？ Yival歡迎您的貢獻！ ？
？非常感謝我們所有出色的貢獻者？
| 紙 | 作者 | 主題 | Yival貢獻者 | 數據生成器 | 變異發生器 | 評估員 | 選擇器 | 增強劑 | config |
|---|---|---|---|---|---|---|---|---|---|
| 大型語言模型是人級及時的工程師 | Yongchao Zhou，Andrei Ioan Muresanu，Ziwen Han | Yival Evolver，自動宣傳 | OpenAipromptDatagenerator | OpenAipromptVariation Generator | OpenAipromptEvaluator，OpenAieEloEvaluator | AHPSELECTOR | OpenaipromptBasedCombinationEnhancer | config | |
| BERTSCORE：用Bert評估文本生成 | Tianyi Zhang，Varsha Kishore，Felix Wu | YAVIAL評估員，Bertscore，Rouge | @crazycth | - | - | Bertscoreevaluator | - | - | - |
| 羊駝 | Xuechen Li，Tianyi Zhang，Yann Dubois等。 al | YAVIAL評估員 | - | - | 羊石谷伏烷 | - | - | config | |
| 密度鏈 | Griffin Adams Alexander R. Fabbri等。 al | 及時的工程 | - | 鏈增長生長器 | - | - | - | config | |
| 大型語言模型作為優化器 | Chengrun Yang Xuezhi Wang等。 al | 及時的工程 | @crazycth | - | - | - | - | optimize_by_prompt_enhancer | config |
| 洛拉：大語言模型的低排名 | Edward J. Hu Yelong Shen等。 al | LLM Finetune | @crazycth | - | - | - | - | sft_trainer | config |
