YiVal
v0.1.0a10
2.2 клонировать репозиторий
git clone https://github.com/YiVal/YiVal.git
cd YiVal Настройка с поэзией : инициализируйте виртуальную среду Python и установите зависимости с использованием поэзии. Обязательно запустите ниже CMD в /YiVal Directory:
poetry install --syncПосле настройки вы можете быстро начать работу с Yial, генерируя наборы данных по именам предприятий Startup Startup.
Перейдите к каталогу Yival :
cd /YiVal/src/yival Установите клавишу API Openai : замените $YOUR_OPENAI_API_KEY на свой фактический ключ API Openai.
В системах macOS или Linux,
export OPENAI_API_KEY= $YOUR_OPENAI_API_KEYВ системах Windows,
setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY Определите конфигурацию yival : создайте файл конфигурации с именем config_data_generation.yml для создания автоматической генерации наборов тестирования со следующим содержанием:
description : Generate test data
dataset :
data_generators :
openai_prompt_data_generator :
chunk_size : 100000
diversify : true
model_name : gpt-4
input_function :
description : # Description of the function
Given a tech startup business, generate a corresponding landing
page headline
name : headline_generation_for_business
parameters :
tech_startup_business : str # Parameter name and type
number_of_examples : 3
output_csv_path : generated_examples.csv
source_type : machine_generated Выполнить yival : запустите следующую команду из каталога /YiVal/src/yival :
yival run config_data_generation.yml Проверьте сгенерированный набор данных : сгенерированный набор данных тестирования будет храниться в generated_examples.csv .
Пожалуйста, обратитесь к странице Yival Docs для получения более подробной информации о Yival!
| Использование демо | Поддерживаемые функции | Ссылка GitHub | Видео демонстрационная ссылка |
|---|---|---|---|
| ? Создайте свою историю ИИ с ЧАТГПТ и Midjourney | Многомодальная поддержка: разработка повествования с AI с использованием мультимодальной поддержки Yival одновременного текста и изображений. Он поддерживает местное и бесшовное обучение подкреплению от обратной связи с человеком (RLHF) и подкрепления обучения на обратной связи с искусственным интеллектом (RLAIF). Пожалуйста, посмотрите видео выше для этого варианта использования. | ||
| ? Оценить производительность нескольких LLM с вашим собственным набором тестирования вопросов и ответов | Удобно оценивать и сравнить производительность выбора модели с более чем 100 моделями благодаря Litellm. Проанализируйте показатели производительности модели, адаптированные к вашим настраиваемым тестовым данным или варианту использования. | ||
| Стартап -компания генерация генерации | Опросение генерации заголовков для вашего стартапа с автоматическим созданием тестовых данных, быстрого изготовления , оценки результатов и повышением производительности через GPT-4. | ||
| ? Создайте индивидуальный путеводитель по боту | Использует автоматические подсказки, вдохновленные самыми популярными предложениями туристического сообщества , например, от Awesome-Chatgpt-Prompts. | ||
| Создайте более дешевый переводчик: используйте GPT-3.5 для обучения Llama2, чтобы создать переводчика с более низкой стоимостью вывода | Используя данные тестовых данных GPT-3.5, вы можете настраивать бот перевода Llama2. Выгода от 18 -кратной сбережений, в то же время наблюдая лишь 6% снижение производительности. | ||
| ? ️ Общаться с вашими любимыми персонажами - Дантан Джи до конца луны | Принесите своих любимых персонажей в жизнь с помощью автоматического быстрого создания и поиска сценариев персонажа . | ||
| ? Оценить производительность Guardrails в создании выходов Python (.py) | Guardrails: Где мои ограждения? ? <br> yival: я здесь. ️ <br><br> Эксперимент по интегрированной оценке проводится с 80 проблемами LeetCode в CSV, используя Guardrail и используя только GPT-4. Точность падает с 0,625 до 0,55 с ограждением, задержка увеличивается на 44%, а стоимость увеличивается на 140%. Guardrail еще предстоит пройти от демонстрации до производства. | ||
| ? Визуализируйте разные продукты по всему миру!? | Просто дайте место, где принадлежит еда, и лучший сезон, чтобы попробовать ее, и вы можете получить видео о едой, специфичной для сезона!? | ||
| ? Краткое изложение статьи новостей с COD | Интегрируя метод «цепочка плотности», оцените способность усилителя в суммировании текста. Используя 3 статьи, сгенерированные GPT-4 для оценки, когерентный балл увеличился на 20,03% , оценка атрибута увеличилась на 25,18%! , среднее использование токена с 2054,6 -> 1473,4 (-28,3%) . | ||
| ? Автоматизированный тикток | Имея только две строки ввода, вы можете легко создать краткие и отполированные видеозаписи Tiktok, основанные на вашей желаемой целевой аудитории и резюме для видеоконтента. Это представлено нашей функцией автоматического производства : процесс автоматизирован, поэтому вы можете ввести свои требования и наслаждаться результатами без проблем! |
Если вы хотите внести свой вклад в Yial, обязательно ознакомьтесь с руководящими принципами вклада. Мы используем проблемы GitHub для отслеживания запросов и ошибок. Пожалуйста, присоединяйтесь к каналу дискорда Йивала для общих вопросов и обсуждения. Присоединяйтесь к нашему совместному сообществу, где ваш уникальный опыт в качестве исследователей и инженеров -программистов очень ценен! Внести свой вклад в наш проект и стать частью инновационного пространства, в котором каждая линия кода и исследования активно питает достижения в области технологий, способствуя развитию будущего, которое подключено и универсально доступно.
? Yival приветствует ваш вклад! ?
? Большое спасибо всем нашим удивительным участникам?
| Бумага | Автор | Темы | Yival Antarpor | Генератор данных | Вариант генератора | Оценщик | Селектор | Усилитель | Конфигурация |
|---|---|---|---|---|---|---|---|---|---|
| Большие языковые модели-инженеры на уровне человека | Юнчао Чжоу, Андрей Иоан Мюресену, Зивен Хан | Yival evolver, автоматическое восприятие | OpenAipromptDatagenerator | OpenAipromptVariationGenerator | OpenAipromptevaluator, OpenAieloEvaluator | Ахпсектор | OpenAipromptBasedCombinanceenhancer | конфигурация | |
| Bertscore: оценка генерации текста с помощью Bert | Tianyi Zhang, Varsha Kishore, Felix Wu | Yival evaluator, bertscore, rouge | @crazycth | - | - | Bertscoreevaluator | - | - | - |
| Альпакаэвальный | Xuechen Li, Tianyi Zhang, Yann Dubois et. ал | Yival evaluator | - | - | Alpacaevalevaluator | - | - | конфигурация | |
| Цепь плотности | Гриффин Адамс Александр Р. Фаббри et. ал | Оперативная инженерия | - | Chainofdensitygenerator | - | - | - | конфигурация | |
| Большие языковые модели как оптимизаторы | Chengrun Yang Xuezhi Wang et. ал | Оперативная инженерия | @crazycth | - | - | - | - | Optimize_by_prompt_enhancer | конфигурация |
| Лора: адаптация с низким уровнем моделей крупных языков | Эдвард Дж. Ху Йелонг Шен et. ал | LLM Finetune | @crazycth | - | - | - | - | sft_trainer | конфигурация |
