YiVal
v0.1.0a10
2.2克隆存储库
git clone https://github.com/YiVal/YiVal.git
cd YiVal用诗歌设置：初始化Python虚拟环境并使用诗歌安装依赖项。确保在/YiVal目录中运行以下CMD：
poetry install --sync设置后，您可以通过生成随机技术启动业务名称的数据集快速开始Yival。
导航到Yival目录：
cd /YiVal/src/yival设置OpenAI API键：用实际的OpenAI API键替换$YOUR_OPENAI_API_KEY 。
在MacOS或Linux系统上，
export OPENAI_API_KEY= $YOUR_OPENAI_API_KEY在Windows系统上，
setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY定义yival配置：创建一个名为config_data_generation.yml的配置文件，用于自动化测试数据集生成以下内容：
description : Generate test data
dataset :
data_generators :
openai_prompt_data_generator :
chunk_size : 100000
diversify : true
model_name : gpt-4
input_function :
description : # Description of the function
Given a tech startup business, generate a corresponding landing
page headline
name : headline_generation_for_business
parameters :
tech_startup_business : str # Parameter name and type
number_of_examples : 3
output_csv_path : generated_examples.csv
source_type : machine_generated执行Yival ：从/YiVal/src/yival目录中运行以下命令：
yival run config_data_generation.yml检查生成的数据集：生成的测试数据集将存储在generated_examples.csv中。
有关Yival的更多详细信息，请参考Yival文档页面！
| 用例演示 | 支持的功能 | github链接 | 视频演示链接 |
|---|---|---|---|
| ？用Chatgpt和Midjourney制作您的AI故事 | 多模式支持：使用Yival对同时文本和图像的多模式支持设计AI驱动的叙述。它支持从人类反馈（RLHF）和AI反馈（RLAIF）学习的本地和无缝增强学习。请观看上面的视频以获取此用例。 | ||
| ？使用您自己的问答测试数据集评估多个LLM的性能 | 得益于Litellm，可以方便地评估和比较您选择的模型与100多个模型的性能。分析根据您的自定义测试数据或用例量身定制的模型性能基准。 | ||
| 启动公司标题生成机器人 | 通过自动测试数据创建，提示制作，结果评估和通过GPT-4提高企业的初创企业的头条新闻。 | ||
| ？构建定制的旅行指南机器人 | 利用自动化提示，灵感来自旅行社区最受欢迎的建议，例如来自Awesome-Chatgpt-Prompts的建议。 | ||
| 构建一个便宜的翻译器：使用GPT-3.5教Llama2创建推理成本较低的翻译器 | 使用重复和GPT-3.5的测试数据，您可以微调Llama2的翻译机器人。从18倍节省下来，同时只有6％的性能下降。 | ||
| ？与您最喜欢的角色聊天 - 丹坦·吉（Dantan Ji） | 通过自动及时创建和角色脚本检索来使您最喜欢的角色栩栩如生。 | ||
| 评估护栏在产生Python（.py）输出时的性能 | 护栏：我的护栏在哪里？ ？ <br> Yival：我在这里。 <br><br>综合评估实验是在CSV中使用80个Leetcode问题进行的，仅使用Guardrail，仅使用GPT-4。随着护栏的情况，准确性从0.625下降到0.55，潜伏期增加了44％，成本增加了140％。从演示到制作还有很长的路要走。 | ||
| ？可视化世界各地的不同食物！ | 只需提供食物所属的地方和品尝它的最佳季节，您就可以获得特定于季节的食物的视频！ | ||
| 鳕鱼的新闻文章摘要 | 通过整合“密度链”方法，可以评估增强子在文本摘要中的能力。使用GPT-4产生的3个文章点进行评估，相干分数增加了20.03％ ，归因分数增加了25.18％！ ，从2054.6-> 1473.4（-28.3％）开始的平均令牌用法。 | ||
| ？自动tiktok title Generation Bot | 只有两条输入线，您可以根据所需的目标受众和视频内容摘要轻松地创建简洁而抛光的Tiktok视频标题。这是由我们的自动推出功能提出的：该过程是自动化的，因此您可以输入您的要求并享受无麻烦的结果！ |
如果您想为Yival做出贡献，请务必查看贡献指南。我们使用GitHub问题来跟踪请求和错误。请加入Yival的Discord频道进行一般性问题和讨论。加入我们的合作社区，您作为研究人员和软件工程师的独特专业知识非常有价值！为我们的项目做出贡献，并成为创新空间的一部分，在该空间中，每条代码和研究洞察力都积极地为技术增长提供了进步，从而促进了一个智能联系和普遍访问的未来。
？ Yival欢迎您的贡献！ ？
？非常感谢我们所有出色的贡献者？
| 纸 | 作者 | 主题 | Yival贡献者 | 数据生成器 | 变异发生器 | 评估员 | 选择器 | 增强剂 | config |
|---|---|---|---|---|---|---|---|---|---|
| 大型语言模型是人级及时的工程师 | Yongchao Zhou，Andrei Ioan Muresanu，Ziwen Han | Yival Evolver，自动宣传 | OpenAipromptDatagenerator | OpenAipromptVariation Generator | OpenAipromptEvaluator，OpenAieEloEvaluator | AHPSELECTOR | OpenaipromptBasedCombinationEnhancer | config | |
| BERTSCORE：用Bert评估文本生成 | Tianyi Zhang，Varsha Kishore，Felix Wu | YAVIAL评估员，Bertscore，Rouge | @crazycth | - | - | Bertscoreevaluator | - | - | - |
| 羊驼 | Xuechen Li，Tianyi Zhang，Yann Dubois等。 al | YAVIAL评估员 | - | - | 羊石谷伏烷 | - | - | config | |
| 密度链 | Griffin Adams Alexander R. Fabbri等。 al | 及时的工程 | - | 链增长生长器 | - | - | - | config | |
| 大型语言模型作为优化器 | Chengrun Yang Xuezhi Wang等。 al | 及时的工程 | @crazycth | - | - | - | - | optimize_by_prompt_enhancer | config |
| 洛拉：大语言模型的低排名 | Edward J. Hu Yelong Shen等。 al | LLM Finetune | @crazycth | - | - | - | - | sft_trainer | config |
