Живая демо | Демо-видео
Новости | Описание |
---|---|
Выпуск сценария Kaggle | Выпускаем Kaggle Agent , пробуйте новые возможности! |
Официальный релиз группы WeChat | Мы создали группу в WeChat, добро пожаловать, присоединяйтесь! (?QR-код) |
Официальный выпуск Discord | Запускаем наш первый чат-канал в Discord (?) |
Первый выпуск | RDAgent выпущен на GitHub. |
RDAgent стремится автоматизировать наиболее важные и ценные аспекты процесса промышленных исследований и разработок, и мы начинаем с сосредоточения внимания на сценариях, основанных на данных, для оптимизации разработки моделей и данных. Методологически мы определили структуру с двумя ключевыми компонентами: «R» для предложения новых идей и «D» для их реализации. Мы считаем, что автоматическое развитие исследований и разработок приведет к решениям, имеющим значительную промышленную ценность.
НИОКР – это очень общий сценарий. Появление RDAgent может стать вашим
Автоматическая квантовая фабрика (?Демо-видео|
Ютуб)
Агент интеллектуального анализа данных: итеративное предложение данных и моделей (?Демо-видео 1|
YouTube) (?Демо-видео 2|
YouTube) и реализовывать их, получая знания из данных.
Второй пилотный проект исследования: автоматическое чтение исследовательских работ (?Демо-видео|
YouTube) / финансовые отчеты (?Демо-видео|
YouTube) и реализовывать структуры моделей или наборы данных для построения.
Агент Kaggle: настройка автомоделей и разработка функций (скоро появится демо-видео...) и их внедрение для достижения большего в соревнованиях.
...
Вы можете нажать на ссылку выше, чтобы просмотреть демо-версию. Мы постоянно добавляем в проект новые методы и сценарии, чтобы улучшить ваши процессы исследований и разработок и повысить производительность.
Кроме того, вы можете поближе познакомиться с примерами в нашей ?️ Live Demo .
Вы можете попробовать приведенные выше демонстрации, выполнив следующую команду:
Прежде чем приступать к использованию большинства сценариев, пользователи должны убедиться, что Docker установлен. Пожалуйста, обратитесь к официальной странице Docker за инструкциями по установке.
Создайте новую среду conda с помощью Python (3.10 и 3.11 хорошо протестированы в нашей CI):
conda create -n rdagent python=3.10
Активируйте среду:
Конда активирует агент
Вы можете установить пакет RDAgent напрямую из PyPI:
pip install rdagent
Вам необходимо настроить свою модель GPT в .env
cat << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
?️ Live Demo реализуется с помощью следующих команд (каждый элемент представляет одну демонстрацию, вы можете выбрать ту, которую предпочитаете):
Запустите автоматизированную количественную торговлю и эволюцию итеративных факторов : предложение и реализация фактора самоцикла Qlib
rdagent fin_factor
Запустите автоматизированную количественную торговлю и эволюцию итеративной модели : предложение и приложение для реализации самоциклической модели Qlib
rdagent fin_model
Запустите эволюцию автоматизированной модели медицинского прогнозирования : предложение и приложение для реализации медицинской самоконтурной модели
(1) Подайте заявку на создание учетной записи в PhysioNet.
(2) Запросить доступ к предварительно обработанным данным FIDDLE: Набор данных FIDDLE.
(3) Поместите свое имя пользователя и пароль в.env
.
cat << EOF >> .envDM_USERNAME=<ваше_имя_пользователя>DM_PASSWORD=<ваш_пароль>EOF
rdagent med_model
Запустите автоматизированную количественную торговлю и извлечение факторов из финансовых отчетов . Запустите приложение для извлечения и внедрения факторов Qlib на основе финансовых отчетов.
# 1. Как правило, вы можете запустить этот сценарий с помощью следующей команды: rdagent fin_factor_report --report_folder=<путь к папке с вашими финансовыми отчетами># 2. В частности, вам необходимо сначала подготовить некоторые финансовые отчеты. Вы можете последовать этому конкретному примеру: wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip. разархивировать all_reports.zip -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/reports
Запустите автоматизированный второй пилотный проект исследований и разработок моделей : приложение для извлечения и реализации моделей.
# 1. Как правило, вы можете запускать свои собственные статьи/отчеты с помощью следующей команды: rdagentgeneral_model# 2. В частности, вы можете сделать это следующим образом. Для получения более подробной информации и дополнительных примеров документов используйте `rdagentgeneral_model -h`:rdagentgeneral_model "https://arxiv.org/pdf/2210.09789"
Запустите автоматизированную настройку модели Kaggle и разработку функций : предложение модели с автоциклом и приложение для реализации разработки функций.
Примечание . Это приложение автоматически загрузит данные соревнований Kaggle, если вы не подготовите данные локально. Если у вас нет данных локально, вам необходимо настроить API Kaggle и согласиться с соответствующими правилами конкуренции на веб-сайте Kaggle.
# 1. Название конкурса должно совпадать с именем, используемым в API на платформе Kaggle.rdagent kaggle --competition [имя-вашего-конкурса]# 2. В частности, вы можете заполнить название конкурса следующим образом:# скачать соревнование файлы описаний в локальный каталогwget https://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# распаковать файлы в локальный каталог разархивируйте kaggle_data.zip -d /your/local/directory/kaggle_data# установите переменные средыexport LOCAL_DATA_PATH=/your/local/directory/kaggle_data/kaggle # запускаем приложениеrdagent kaggle --competition sf-crime
Список доступных конкурсов можно найти здесь.
Для получения более подробной информации вы можете обратиться к примеру руководства.
Вы можете использовать наше демонстрационное приложение для мониторинга цикла RD, выполнив следующую команду:
rdagent ui --port 80 --log_dir <папка вашего журнала, например «log/»>
Мы применили RD-Agent для множества ценных промышленных сценариев, основанных на данных.
В этом проекте мы стремимся создать агента для автоматизации исследований и разработок, управляемых данными, который может
Прочтите реальные материалы (отчеты, статьи и т. д.) и извлеките ключевые формулы, описания интересующих функций и моделей , которые являются ключевыми компонентами исследований и разработок, основанных на данных.
Реализуйте извлеченные формулы (например, функции, факторы и модели) в работоспособных кодах.
Из-за ограниченных возможностей LLM при одновременном внедрении создайте развивающийся процесс для агента, чтобы повысить производительность, изучая обратную связь и знания.
Предлагайте новые идеи, основанные на текущих знаниях и наблюдениях.
В двух ключевых областях сценариев, управляемых данными, реализации модели и построения данных, наша система призвана выполнять две основные роли: «Второй пилот» и «Агент».
«Второй пилот» следует инструкциям человека для автоматизации повторяющихся задач.
«Агент», будучи более автономным, активно предлагает идеи для достижения лучших результатов в будущем.
Поддерживаемые сценарии перечислены ниже:
Сценарий/Цель | Реализация модели | Сбор данных |
---|---|---|
Финансы | Итеративное предложение идей и развитие | Итеративное предложение идей и развитие Автоматическое чтение и внедрение отчетов |
Медицинский | Итеративное предложение идей и развитие | - |
Общий | Автоматическое чтение и внедрение бумаги Автоматическая настройка модели Kaggle | Функция Auto Kaggle Инженерное дело |
Дорожная карта : В настоящее время мы усердно работаем над добавлением новых функций в сценарий Kaggle.
Различные сценарии различаются по входу и конфигурации. Пожалуйста, ознакомьтесь с подробным руководством по настройке в документации по сценариям.
Вот галерея успешных исследований (5 следов показаны в ?️ Live Demo ). Вы можете скачать и просмотреть трассировку выполнения с помощью команды ниже:
rdagent ui --port 80 --log_dir ./demo_traces
Пожалуйста, обратитесь к ?readthedocs_scen для получения более подробной информации о сценариях.
Автоматизация процесса исследований и разработок в области науки о данных — очень ценная, но недостаточно изученная область промышленности. Мы предлагаем основу, которая расширит границы этой важной области исследований.
Вопросы исследования в рамках этой структуры можно разделить на три основные категории:
Область исследований | Бумага/Рабочий список |
---|---|
Сравните возможности исследований и разработок | Контрольный показатель |
Предложение идеи: изучайте новые идеи или совершенствуйте существующие. | Исследовать |
Способность реализовывать идеи: Реализовывать и воплощать идеи. | Разработка |
Мы считаем, что ключом к предоставлению высококачественных решений является способность развивать возможности исследований и разработок. Агенты должны учиться как люди-эксперты, постоянно совершенствуя свои навыки в области исследований и разработок.
Дополнительные документы можно найти в ? прочтите документацию .
На пути к дата-ориентированным автоматическим исследованиям и разработкам
@misc{chen2024datacentric,title={На пути к автоматизированным исследованиям и разработкам, ориентированным на данные},author={Хаотянь Чен, Синьцзе Шен и Цзэци Е, Вэньцзюнь Фэн и Хаосюэ Ван, Сяо Ян и Сюй Ян, Вэйцин Лю и Цзян Bian},year={2024},eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}}
В ходе ежедневных исследований и разработок специалисты по интеллектуальному анализу данных предлагают гипотезу (например, структура модели, такая как RNN, может фиксировать закономерности в данных временных рядов), разрабатывают эксперименты (например, финансовые данные содержат временные ряды, и мы можем проверить гипотезу). в этом сценарии), реализуйте эксперимент в виде кода (например, структуры модели Pytorch), а затем выполните код, чтобы получить обратную связь (например, метрики, кривую потерь и т. д.). Эксперты учатся на обратной связи и совершенствуются в следующей итерации.
Основываясь на изложенных выше принципах, мы создали базовую структуру метода, которая постоянно выдвигает гипотезы, проверяет их и получает отзывы из реальной практики. Это первая платформа автоматизации научных исследований, которая поддерживает связь с проверкой в реальном мире.
Для получения более подробной информации посетите нашу ?️ страницу Live Demo .
Совместная развивающаяся стратегия автоматической разработки, ориентированной на данные
@misc{yang2024collaborative,title={Совместная развивающаяся стратегия для автоматической разработки, ориентированной на данные},author={Сюй Ян и Хаотянь Чен, Вэньцзюнь Фэн и Хаосюэ Ван, Цзэци Е и Синьцзе Шен, Сяо Ян и Шичжао Сунь, Вэйцин Лю и Цзян Bian},year={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}}
Этот проект приветствует вклад и предложения. Внести свой вклад в этот проект просто и выгодно. Будь то решение проблемы, исправление ошибки, улучшение документации или даже исправление опечатки, каждый вклад ценен и помогает улучшить RDAgent.
Для начала вы можете изучить список проблем или выполнить поиск комментариев TODO:
в базе кода, выполнив команду grep -r "TODO:"
.
До того, как мы выпустили RD-Agent как проект с открытым исходным кодом на GitHub, это был внутренний проект внутри нашей группы. К сожалению, внутренняя история коммитов не сохранилась, когда мы удалили какой-то конфиденциальный код. В результате некоторые вклады членов нашей группы, в том числе Хаотяня Чена, Вэньцзюня Фэна, Хаосюэ Вана, Цзэци Е, Синьцзе Шэня и Цзиньхуэй Ли, не были включены в публичные обязательства.
RD-агент предоставляется «как есть», без каких-либо гарантий, явных или подразумеваемых, включая, помимо прочего, гарантии коммерческой ценности, пригодности для определенной цели и ненарушения прав. RD-агент предназначен для облегчения процесса исследований и разработок в финансовой отрасли и не готов к использованию для каких-либо финансовых инвестиций или консультаций. Пользователи должны самостоятельно оценивать и тестировать риски RD-агента в конкретном сценарии использования, обеспечивать ответственное использование технологии искусственного интеллекта, включая, помимо прочего, разработку и интеграцию мер по снижению рисков, а также соблюдать все применимые законы и правила во всех применимых юрисдикции. RD-агент не предоставляет финансовых заключений и не отражает мнения Microsoft, а также не предназначен для замены роли квалифицированных финансовых специалистов в разработке, оценке и утверждении финансовых продуктов. Входные и выходные данные RD-агента принадлежат пользователям, и пользователи несут всю ответственность в соответствии с любой теорией ответственности, будь то договор, правонарушение, нормативные акты, небрежность, ответственность за продукцию или иным образом, связанные с использованием RD-агента и любые их входы и выходы.