Demostración en vivo | Vídeo de demostración
| Noticias | Descripción |
|---|---|
| Lanzamiento del escenario de Kaggle | Lanzamos Kaggle Agent , ¡prueba las nuevas funciones! |
| Lanzamiento oficial del grupo WeChat | Creamos un grupo de WeChat, ¡bienvenido a unirse! (?Código QR) |
| Lanzamiento oficial de Discord | Lanzamos nuestro primer canal de chat en Discord (?) |
| Primer lanzamiento | RDAgent se lanza en GitHub |
RDAgent tiene como objetivo automatizar los aspectos más críticos y valiosos del proceso de I+D industrial, y comenzamos centrándonos en los escenarios basados en datos para agilizar el desarrollo de modelos y datos. Metodológicamente, hemos identificado un marco con dos componentes clave: 'R' para proponer nuevas ideas y 'D' para implementarlas. Creemos que la evolución automática de la I+D conducirá a soluciones de importante valor industrial.
La I+D es un escenario muy general. La llegada de RDAgent puede ser su
Fábrica cuántica automática (? Vídeo de demostración |
YouTube)
Agente de minería de datos: propuesta iterativa de datos y modelos (?Video de demostración 1|
YouTube) (? Vídeo de demostración 2 |
YouTube) e implementarlos adquiriendo conocimiento a partir de los datos.
Copiloto de investigación: lectura automática de artículos de investigación (? Vídeo de demostración |
YouTube) / informes financieros (?Video de demostración|
YouTube) e implementar estructuras modelo o crear conjuntos de datos.
Agente de Kaggle: Ajuste de modelos automáticos e ingeniería de funciones (? Vídeo de demostración próximamente...) e implementación de ellos para lograr más en las competiciones.
...
Puede hacer clic en los enlaces de arriba para ver la demostración. Continuamente agregamos más métodos y escenarios al proyecto para mejorar sus procesos de I+D y aumentar la productividad.
Además, puede ver más de cerca los ejemplos en nuestra ?️ Demostración en vivo .
Puede probar las demostraciones anteriores ejecutando el siguiente comando:
Los usuarios deben asegurarse de que Docker esté instalado antes de intentar la mayoría de los escenarios. Consulte la página oficial de Docker para obtener instrucciones de instalación.
Cree un nuevo entorno conda con Python (3.10 y 3.11 están bien probados en nuestro CI):
conda crear -n rdagent python = 3.10
Activa el entorno:
conda activar rdagent
Puede instalar directamente el paquete RDAgent desde PyPI:
pip instalar rdagent
Tienes que configurar tu modelo GPT en el .env
cat << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
La ?️ Live Demo se implementa mediante los siguientes comandos (cada elemento representa una demostración, puede seleccionar el que prefiera):
Ejecute la evolución automatizada de factores iterativos y comercio cuantitativo : aplicación de implementación y propuesta de factor de bucle automático de Qlib
rdagente fin_factor
Ejecute la evolución del modelo iterativo y de comercio cuantitativo automatizado : aplicación de implementación y propuesta de modelo de bucle automático de Qlib
rdagent fin_modelo
Ejecute la evolución del modelo de predicción médica automatizada : propuesta de modelo médico de bucle automático y aplicación de implementación
(1) Solicitar una cuenta en PhysioNet.
(2) Solicitar acceso a los datos preprocesados de FIDDLE: conjunto de datos FIDDLE.
(3) Coloque su nombre de usuario y contraseña en.env.
cat << EOF >> .envDM_USERNAME=DM_PASSWORD= EOF
rdagent med_model
Ejecute la extracción automatizada de factores y operaciones cuantitativas de los informes financieros : ejecute la aplicación Qlib de extracción e implementación de factores basada en informes financieros
# 1. Generalmente, puede ejecutar este escenario usando el siguiente comando:rdagent fin_factor_report --report_folder=# 2. Específicamente, primero debe preparar algunos informes financieros. Puede seguir este ejemplo concreto: wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip descomprimir all_reports.zip -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/reports
Ejecute el copiloto automatizado de investigación y desarrollo de modelos : aplicación de extracción e implementación de modelos
# 1. Generalmente, puede ejecutar sus propios artículos/informes con el siguiente comando:rdagent general_model# 2. Específicamente, puede hacerlo así. Para obtener más detalles y ejemplos de artículos adicionales, utilice `rdagent general_model -h`:rdagent general_model "https://arxiv.org/pdf/2210.09789"
Ejecute el ajuste automatizado del modelo Kaggle y la ingeniería de funciones : propuesta de modelo de bucle automático y aplicación de implementación de ingeniería de funciones
Nota : esta aplicación descargará automáticamente los datos de la competencia de Kaggle a menos que prepare los datos localmente. Si no tiene los datos localmente, debe configurar la API de Kaggle y aceptar las reglas de competencia correspondientes en el sitio web de Kaggle.
# 1. el nombre de la competencia debe coincidir con el nombre utilizado con la API en la plataforma Kaggle.rdagent kaggle --competition [nombre-de-su-competición]# 2. Específicamente, puede completar el nombre de la competencia de la siguiente manera:# descargar la competencia archivos de descripción en su directorio local wget https://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# descomprima los archivos en su directorio localunzip kaggle_data.zip -d /your/local/directory/kaggle_data# set variables de entorno exportar LOCAL_DATA_PATH=/tu/local/directorio/kaggle_data/kaggle # ejecuta la aplicaciónrdagent kaggle --competition sf-crime
La lista de competiciones disponible se puede encontrar aquí.
Para obtener más detalles, puede consultar la guía de ejemplo.
Puede utilizar nuestra aplicación de demostración para monitorear el bucle RD ejecutando el siguiente comando:
rdagent ui --port 80 --log_dir
Hemos aplicado RD-Agent a múltiples escenarios industriales valiosos basados en datos.
En este proyecto, nuestro objetivo es construir un Agente para automatizar la I+D basada en datos que pueda
Lea material del mundo real (informes, artículos, etc.) y extraiga fórmulas clave, descripciones de características y modelos interesados, que son los componentes clave de la I+D basada en datos.
Implemente las fórmulas extraídas (por ejemplo, características, factores y modelos) en códigos ejecutables.
Debido a la capacidad limitada de LLM para implementarlo de una vez, cree un proceso evolutivo para que el agente mejore el desempeño aprendiendo de la retroalimentación y el conocimiento.
Proponer nuevas ideas basadas en conocimientos y observaciones actuales.
En las dos áreas clave de escenarios basados en datos, implementación de modelos y construcción de datos, nuestro sistema pretende desempeñar dos funciones principales: "Copilot" y "Agent".
El ?Copilot sigue instrucciones humanas para automatizar tareas repetitivas.
El ?Agente, al ser más autónomo, propone activamente ideas para obtener mejores resultados en el futuro.
Los escenarios admitidos se enumeran a continuación:
| Escenario/Objetivo | Implementación del modelo | Construcción de datos |
|---|---|---|
| Finanzas | Proponer ideas de forma iterativa y evolucionar | Proponer ideas de forma iterativa y evolucionar Lectura e implementación de informes automáticos. |
| Médico | Proponer ideas de forma iterativa y evolucionar | - |
| General | Lectura e implementación automática de papel Ajuste automático del modelo Kaggle | Función Auto Kaggle Ingeniería |
RoadMap : actualmente, estamos trabajando arduamente para agregar nuevas funciones al escenario de Kaggle.
Los diferentes escenarios varían en entrada y configuración. Consulte el tutorial de configuración detallado en los documentos de escenarios.
Aquí hay una galería de exploraciones exitosas (se muestran 5 rastros en ?️ Demostración en vivo ). Puede descargar y ver el seguimiento de ejecución usando el siguiente comando:
rdagent ui --puerto 80 --log_dir ./demo_traces
Consulte ?readthedocs_scen para obtener más detalles sobre los escenarios.
La automatización del proceso de I+D en ciencia de datos es un área muy valiosa pero poco explorada en la industria. Proponemos un marco para ampliar los límites de este importante campo de investigación.
Las preguntas de investigación dentro de este marco se pueden dividir en tres categorías principales:
| Área de Investigación | Lista de trabajos/trabajos |
|---|---|
| Comparar las capacidades de I+D | Punto de referencia |
| Propuesta de idea: explorar nuevas ideas o perfeccionar las existentes | Investigación |
| Capacidad para realizar ideas: implementar y ejecutar ideas. | Desarrollo |
Creemos que la clave para ofrecer soluciones de alta calidad radica en la capacidad de desarrollar las capacidades de I+D. Los agentes deberían aprender como expertos humanos, mejorando continuamente sus habilidades de I+D.
Se pueden encontrar más documentos en el ? leer los documentos .
Hacia una I+D automática centrada en los datos
@misc{chen2024datacentric,title={Hacia I+D automática centrada en datos},author={Haotian Chen y Xinjie Shen y Zeqi Ye y Wenjun Feng y Haoxue Wang y Xiao Yang y Xu Yang y Weiqing Liu y Jiang Bian},año={ 2024},eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}} 
En el proceso diario de investigación y desarrollo de un experto en minería de datos, proponen una hipótesis (por ejemplo, una estructura de modelo como RNN puede capturar patrones en datos de series de tiempo), diseñan experimentos (por ejemplo, los datos financieros contienen series de tiempo y podemos verificar la hipótesis). en este escenario), implemente el experimento como código (p. ej., estructura del modelo Pytorch) y luego ejecute el código para obtener retroalimentación (p. ej., métricas, curva de pérdida, etc.). Los expertos aprenden de los comentarios y mejoran en la siguiente iteración.
Con base en los principios anteriores, hemos establecido un marco metodológico básico que continuamente propone hipótesis, las verifica y obtiene retroalimentación de la práctica del mundo real. Este es el primer marco de automatización de la investigación científica que admite la vinculación con la verificación del mundo real.
Para obtener más detalles, consulte nuestra ?️ página de demostración en vivo .
Estrategia colaborativa en evolución para el desarrollo automático centrado en datos
@misc{yang2024collaborative,title={Estrategia colaborativa en evolución para el desarrollo automático centrado en datos},author={Xu Yang y Haotian Chen y Wenjun Feng y Haoxue Wang y Zeqi Ye y Xinjie Shen y Xiao Yang y Shizhao Sun y Weiqing Liu y Jiang Bian},año={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}} 
Este proyecto agradece contribuciones y sugerencias. Contribuir a este proyecto es sencillo y gratificante. Ya sea resolviendo un problema, solucionando un error, mejorando la documentación o incluso corrigiendo un error tipográfico, cada contribución es valiosa y ayuda a mejorar RDAgent.
Para comenzar, puede explorar la lista de problemas o buscar TODO: comentarios en el código base ejecutando el comando grep -r "TODO:" .
Antes de lanzar RD-Agent como un proyecto de código abierto en GitHub, era un proyecto interno dentro de nuestro grupo. Desafortunadamente, el historial de confirmaciones interno no se conservó cuando eliminamos algún código confidencial. Como resultado, algunas contribuciones de los miembros de nuestro grupo, incluidos Haotian Chen, Wenjun Feng, Haoxue Wang, Zeqi Ye, Xinjie Shen y Jinhui Li, no se incluyeron en los compromisos públicos.
El agente RD se proporciona "tal cual", sin garantía de ningún tipo, expresa o implícita, incluidas, entre otras, las garantías de comerciabilidad, idoneidad para un propósito particular y no infracción. El agente RD tiene como objetivo facilitar el proceso de investigación y desarrollo en la industria financiera y no está listo para usar para ninguna inversión o asesoramiento financiero. Los usuarios deberán evaluar y probar de forma independiente los riesgos del agente RD en un escenario de uso específico, garantizar el uso responsable de la tecnología de IA, incluido, entre otros, el desarrollo e integración de medidas de mitigación de riesgos, y cumplir con todas las leyes y regulaciones aplicables en todos los casos. jurisdicciones. El agente RD no proporciona opiniones financieras ni refleja las opiniones de Microsoft, ni está diseñado para reemplazar el papel de los profesionales financieros calificados en la formulación, evaluación y aprobación de productos financieros. Las entradas y salidas del agente RD pertenecen a los usuarios y los usuarios asumirán toda la responsabilidad según cualquier teoría de responsabilidad, ya sea por contrato, agravio, reglamentación, negligencia, responsabilidad por productos o de otro modo, asociada con el uso del agente RD y sus entradas y salidas.
