Demonstração ao vivo | Vídeo de demonstração
| Notícias | Descrição |
|---|---|
| Lançamento do cenário Kaggle | Lançamos o Kaggle Agent , experimente os novos recursos! |
| Lançamento oficial do grupo WeChat | Criamos um grupo WeChat, seja bem-vindo! (?Código QR) |
| Lançamento oficial do Discord | Lançamos nosso primeiro canal de bate-papo no Discord (?) |
| Primeiro lançamento | RDAgent é lançado no GitHub |
O RDAgent visa automatizar os aspectos mais críticos e valiosos do processo de P&D industrial, e começamos focando nos cenários baseados em dados para agilizar o desenvolvimento de modelos e dados. Metodologicamente, identificamos um quadro com dois componentes principais: 'R' para propor novas ideias e 'D' para implementá-las. Acreditamos que a evolução automática da I&D conduzirá a soluções de significativo valor industrial.
P&D é um cenário muito geral. O advento do RDAgent pode ser o seu
Fábrica Quant Automática (?Vídeo de demonstração|
YouTube)
Agente de mineração de dados: propondo dados e modelos de forma iterativa (?Vídeo de demonstração 1|
YouTube) (?Vídeo de demonstração 2|
YouTube) e implementá-los obtendo conhecimento a partir de dados.
Copiloto de pesquisa: leitura automática de artigos de pesquisa (?Vídeo de demonstração|
YouTube) / relatórios financeiros (?Vídeo de demonstração|
YouTube) e implementar estruturas de modelo ou construir conjuntos de dados.
Agente Kaggle: Ajuste de modelo automático e engenharia de recursos (?Vídeo de demonstração em breve...) e implementá-los para obter mais resultados nas competições.
...
Você pode clicar nos links acima para ver a demonstração. Adicionamos continuamente mais métodos e cenários ao projeto para aprimorar seus processos de P&D e aumentar a produtividade.
Além disso, você pode dar uma olhada mais de perto nos exemplos em nossa ?️ Demonstração ao vivo .
Você pode tentar as demonstrações acima executando o seguinte comando:
Os usuários devem garantir que o Docker esteja instalado antes de tentar a maioria dos cenários. Consulte a página oficial do Docker para obter instruções de instalação.
Crie um novo ambiente conda com Python (3.10 e 3.11 são bem testados em nosso CI):
conda criar -n rdagent python=3.10
Ative o ambiente:
conda ativar rdagent
Você pode instalar diretamente o pacote RDAgent do PyPI:
pip instalar rdagent
Você tem que configurar seu modelo GPT no .env
gato << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
A ?️ Live Demo é implementada pelos seguintes comandos (cada item representa uma demonstração, você pode selecionar a que preferir):
Execute a negociação quantitativa automatizada e a evolução dos fatores iterativos : proposta de fator de auto-loop Qlib e aplicação de implementação
rdagent fin_factor
Execute a negociação quantitativa automatizada e a evolução do modelo iterativo : proposta de modelo de auto-loop Qlib e aplicativo de implementação
rdagent fin_model
Execute a evolução do modelo de previsão médica automatizada : proposta de modelo de auto-loop médico e aplicação de implementação
(1) Inscreva-se para obter uma conta no PhysioNet.
(2) Solicite acesso aos dados pré-processados do FIDDLE: conjunto de dados FIDDLE.
(3) Coloque seu nome de usuário e senha em.env.
cat << EOF >> .envDM_USERNAME=DM_PASSWORD= EOF
rdagent med_model
Execute a extração automatizada de negociação quantitativa e fatores de relatórios financeiros : execute o aplicativo de extração e implementação de fatores Qlib com base em relatórios financeiros
# 1. Geralmente, você pode executar este cenário usando o seguinte comando:rdagent fin_factor_report --report_folder=# 2. Especificamente, você precisa preparar alguns relatórios financeiros primeiro. Você pode seguir este exemplo concreto:wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip descompacte all_reports.zip -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/reports
Execute o copiloto de pesquisa e desenvolvimento de modelo automatizado : aplicativo de extração e implementação de modelo
# 1. Geralmente, você pode executar seus próprios artigos/relatórios com o seguinte comando:rdagent general_model# 2. Especificamente, você pode fazer assim. Para obter mais detalhes e exemplos de papel adicionais, use `rdagent general_model -h`:rdagent general_model "https://arxiv.org/pdf/2210.09789"
Execute o ajuste automatizado do modelo Kaggle e engenharia de recursos : proposta de modelo de auto-loop e aplicação de implementação de engenharia de recursos
Nota : Este aplicativo baixará automaticamente os dados da competição Kaggle, a menos que você prepare os dados localmente. Se você não possui os dados localmente, você precisa configurar a API Kaggle e concordar com as regras de competição correspondentes no site Kaggle.
# 1. o nome da competição deve corresponder ao nome usado com a API na plataforma Kaggle.rdagent kaggle --competition [nome-da-sua-competição]# 2. Especificamente, você pode preencher o nome da competição da seguinte forma:# baixe a competição arquivos de descrição para seu diretório local wget https://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# descompacte os arquivos para seu diretório localunzip kaggle_data.zip -d /your/local/directory/kaggle_data# set exportação de variáveis de ambiente LOCAL_DATA_PATH=/seu/local/diretório/kaggle_data/kaggle # execute o aplicativordagent kaggle --competition sf-crime
A lista de competições disponível pode ser encontrada aqui.
Para obter mais detalhes, você pode consultar o guia de exemplo.
Você pode servir nosso aplicativo de demonstração para monitorar o loop RD executando o seguinte comando:
rdagent ui --port 80 --log_dir
Aplicamos o RD-Agent a vários cenários industriais valiosos baseados em dados.
Neste projeto, pretendemos construir um agente para automatizar P&D baseado em dados que possa
Leia material do mundo real (relatórios, artigos, etc.) e extraia fórmulas principais, descrições de recursos e modelos de interesse, que são os principais componentes da P&D baseada em dados.
Implemente as fórmulas extraídas (por exemplo, recursos, fatores e modelos) em códigos executáveis.
Devido à capacidade limitada do LLM em implementar de uma só vez, construa um processo evolutivo para o agente melhorar o desempenho aprendendo com feedback e conhecimento.
Propor novas ideias com base em conhecimentos e observações atuais.
Nas duas áreas principais de cenários baseados em dados, implementação de modelo e construção de dados, nosso sistema visa servir duas funções principais: ?Copiloto e ?Agente.
O ?Copilot segue instruções humanas para automatizar tarefas repetitivas.
O ?Agente, por ser mais autônomo, propõe ativamente ideias para melhores resultados no futuro.
Os cenários suportados estão listados abaixo:
| Cenário/Alvo | Implementação de modelo | Construção de dados |
|---|---|---|
| Financiar | Propondo ideias e evoluindo iterativamente | Propondo ideias e evoluindo iterativamente Leitura e implementação automática de relatórios |
| Médico | Propondo ideias e evoluindo iterativamente | - |
| Em geral | Leitura e implementação automática de papel Ajuste automático do modelo Kaggle | Engenharia de recursos do Auto Kaggle |
RoadMap : Atualmente, estamos trabalhando muito para adicionar novos recursos ao cenário Kaggle.
Diferentes cenários variam em entrada e configuração. Verifique o tutorial de configuração detalhado nos documentos de cenários.
Aqui está uma galeria de explorações bem-sucedidas (5 traços mostrados em ?️ Live Demo ). Você pode baixar e visualizar o rastreamento de execução usando o comando abaixo:
rdagent ui --port 80 --log_dir ./demo_traces
Consulte ?readthedocs_scen para obter mais detalhes dos cenários.
Automatizar o processo de P&D em ciência de dados é uma área altamente valiosa, mas pouco explorada na indústria. Propomos uma estrutura para ampliar os limites deste importante campo de pesquisa.
As questões de investigação neste quadro podem ser divididas em três categorias principais:
| Área de Pesquisa | Lista de trabalhos/trabalho |
|---|---|
| Compare as habilidades de P&D | Referência |
| Proposta de ideia: explore novas ideias ou refine as existentes | Pesquisar |
| Capacidade de concretizar ideias: implementar e executar ideias | Desenvolvimento |
Acreditamos que a chave para fornecer soluções de alta qualidade reside na capacidade de desenvolver capacidades de I&D. Os agentes devem aprender como especialistas humanos, melhorando continuamente as suas competências em I&D.
Mais documentos podem ser encontrados no ? leia os documentos .
Rumo à P&D automática centrada em dados
@misc{chen2024datacentric,title={Rumo à P&D automática centrada em dados},author={Haotian Chen e Xinjie Shen e Zeqi Ye e Wenjun Feng e Haoxue Wang e Xiao Yang e Xu Yang e Weiqing Liu e Jiang Bian},year={ 2024},eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}} 
No processo diário de pesquisa e desenvolvimento de um especialista em mineração de dados, eles propõem uma hipótese (por exemplo, uma estrutura de modelo como RNN pode capturar padrões em dados de séries temporais), projetos de experimentos (por exemplo, dados financeiros contêm séries temporais e podemos verificar a hipótese neste cenário), implemente o experimento como código (por exemplo, estrutura do modelo Pytorch) e, em seguida, execute o código para obter feedback (por exemplo, métricas, curva de perda, etc.). Os especialistas aprendem com o feedback e melhoram na próxima iteração.
Com base nos princípios acima, estabelecemos uma estrutura metodológica básica que propõe continuamente hipóteses, verifica-as e obtém feedback da prática do mundo real. Esta é a primeira estrutura de automação de pesquisa científica que suporta a ligação com a verificação do mundo real.
Para obter mais detalhes, consulte nossa página ?️ Demonstração ao vivo .
Estratégia Colaborativa Evolutiva para Desenvolvimento Automático Centrado em Dados
@misc{yang2024collaborative,title={Estratégia de Evolução Colaborativa para Desenvolvimento Automático Centrado em Dados},autor={Xu Yang e Haotian Chen e Wenjun Feng e Haoxue Wang e Zeqi Ye e Xinjie Shen e Xiao Yang e Shizhao Sun e Weiqing Liu e Jiang Bian},ano={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}} 
Este projeto aceita contribuições e sugestões. Contribuir para este projeto é simples e gratificante. Seja resolvendo um problema, resolvendo um bug, aprimorando a documentação ou até mesmo corrigindo um erro de digitação, cada contribuição é valiosa e ajuda a melhorar o RDAgent.
Para começar, você pode explorar a lista de problemas ou pesquisar comentários TODO: na base de código executando o comando grep -r "TODO:" .
Antes de lançarmos o RD-Agent como um projeto de código aberto no GitHub, ele era um projeto interno do nosso grupo. Infelizmente, o histórico interno de commits não foi preservado quando removemos alguns códigos confidenciais. Como resultado, algumas contribuições dos membros do nosso grupo, incluindo Haotian Chen, Wenjun Feng, Haoxue Wang, Zeqi Ye, Xinjie Shen e Jinhui Li, não foram incluídas nos commits públicos.
O agente RD é fornecido “como está”, sem garantia de qualquer tipo, expressa ou implícita, incluindo, entre outras, garantias de comercialização, adequação a uma finalidade específica e não violação. O agente RD destina-se a facilitar o processo de investigação e desenvolvimento na indústria financeira e não está pronto a ser utilizado para qualquer investimento ou aconselhamento financeiro. Os usuários deverão avaliar e testar de forma independente os riscos do agente RD em um cenário de uso específico, garantir o uso responsável da tecnologia de IA, incluindo, mas não se limitando ao desenvolvimento e integração de medidas de mitigação de risco, e cumprir todas as leis e regulamentos aplicáveis em todos os aspectos aplicáveis. jurisdições. O agente RD não fornece opiniões financeiras nem reflete as opiniões da Microsoft, nem foi concebido para substituir o papel de profissionais financeiros qualificados na formulação, avaliação e aprovação de produtos financeiros. As entradas e saídas do agente RD pertencem aos usuários e os usuários deverão assumir toda a responsabilidade sob qualquer teoria de responsabilidade, seja em contrato, ato ilícito, regulatório, negligência, responsabilidade por produtos ou de outra forma, associada ao uso do agente RD e quaisquer entradas e saídas dos mesmos.
