라이브 데모 | 데모 비디오
| 소식 | 설명 |
|---|---|
| 캐글 시나리오 출시 | Kaggle Agent를 출시하고 새로운 기능을 사용해 보세요! |
| 공식 WeChat 그룹 릴리스 | WeChat 그룹을 만들었습니다. 가입을 환영합니다! (?QR코드) |
| 공식 디스코드 릴리스 | Discord에서 첫 번째 채팅 채널을 시작합니다(?) |
| 첫 번째 릴리스 | RDAgent가 GitHub에 출시되었습니다. |
RDAgent는 산업 R&D 프로세스의 가장 중요하고 가치 있는 측면을 자동화하는 것을 목표로 하며, 먼저 모델 및 데이터 개발을 간소화하기 위해 데이터 중심 시나리오에 중점을 둡니다. 방법론적으로 우리는 새로운 아이디어를 제안하기 위한 'R'과 이를 구현하기 위한 'D'라는 두 가지 핵심 구성 요소로 구성된 프레임워크를 식별했습니다. 우리는 R&D의 자동적인 진화가 상당한 산업적 가치를 지닌 솔루션으로 이어질 것이라고 믿습니다.
R&D는 매우 일반적인 시나리오입니다. RDAgent의 출현은 귀하의
자동 퀀트 공장 (?데모 비디오|
유튜브)
데이터 마이닝 에이전트: 데이터 및 모델을 반복적으로 제안(?데모 비디오 1|
YouTube) (?데모 비디오 2|
YouTube) 데이터로부터 지식을 얻어 이를 구현합니다.
연구 부조종사: 연구 논문 자동 읽기(?데모 비디오|
YouTube) / 재무 보고서(?데모 비디오|
YouTube) 모델 구조를 구현하거나 데이터 세트를 구축합니다.
Kaggle 에이전트: 자동 모델 조정 및 기능 엔지니어링(?데모 비디오 출시 예정...) 및 이를 구현하여 대회에서 더 많은 성과를 달성합니다.
...
위 링크를 클릭하시면 데모를 보실 수 있습니다. 우리는 R&D 프로세스를 향상하고 생산성을 높이기 위해 프로젝트에 더 많은 방법과 시나리오를 지속적으로 추가하고 있습니다.
또한 ?️ 라이브 데모 에서 예제를 자세히 살펴볼 수 있습니다.
다음 명령을 실행하여 위의 데모를 시도해 볼 수 있습니다.
사용자는 대부분의 시나리오를 시도하기 전에 Docker가 설치되어 있는지 확인해야 합니다. 설치 지침은 공식 ?Docker 페이지를 참조하세요.
Python을 사용하여 새 conda 환경을 만듭니다(3.10 및 3.11은 CI에서 잘 테스트되었습니다).
conda create -n rdagent python=3.10
환경을 활성화합니다:
conda 활성화 rdagent
PyPI에서 RDAgent 패키지를 직접 설치할 수 있습니다.
pip 설치 rdagent
.env 에서 GPT 모델을 구성해야 합니다.
고양이 << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
?️ 라이브 데모는 다음 명령으로 구현됩니다(각 항목은 하나의 데모를 나타내며 원하는 것을 선택할 수 있습니다):
자동화된 정량 거래 및 반복 요소 진화 실행: Qlib 자체 루프 요소 제안 및 구현 애플리케이션
rdagent fin_factor
자동화된 정량 거래 및 반복 모델 진화 실행: Qlib 자체 루프 모델 제안 및 구현 애플리케이션
rdagent fin_model
자동화된 의료 예측 모델 진화 실행 : 의료 자가 루프 모델 제안 및 구현 적용
(1) PhysioNet에 계정을 신청합니다.
(2) FIDDLE 사전 처리된 데이터에 대한 액세스 요청: FIDDLE Dataset.
(3) 사용자 이름과 비밀번호를.env에 넣으세요.
cat << EOF >> .envDM_USERNAME=<사용자 이름>DM_PASSWORD=<비밀번호>EOF
rdagent med_model
재무 보고서에서 자동화된 정량 거래 및 요소 추출 실행: 재무 보고서를 기반으로 Qlib 요소 추출 및 구현 애플리케이션을 실행합니다.
# 1. 일반적으로 다음 명령을 사용하여 이 시나리오를 실행할 수 있습니다:rdagent fin_factor_report --report_folder=<재무 보고서 폴더 경로># 2. 특히 먼저 일부 재무 보고서를 준비해야 합니다. 다음 구체적인 예를 따를 수 있습니다. wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip all_reports.zip 압축 풀기 -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/reports
자동화된 모델 연구 개발 Copilot 실행 : 모델 추출 및 구현 애플리케이션
# 1. 일반적으로 다음 명령을 사용하여 자신의 논문/보고서를 실행할 수 있습니다:rdagent General_model# 2. 구체적으로 다음과 같이 할 수 있습니다. 자세한 내용과 추가 문서 예제를 보려면 `rdagent General_model -h`:rdagent General_model "https://arxiv.org/pdf/2210.09789"를 사용하세요.
자동화된 Kaggle 모델 튜닝 및 기능 엔지니어링 실행: 자체 루프 모델 제안 및 기능 엔지니어링 구현 애플리케이션
참고 : 이 애플리케이션은 로컬에서 데이터를 준비하지 않는 한 Kaggle 대회 데이터를 자동으로 다운로드합니다. 로컬에 데이터가 없는 경우 Kaggle API를 구성하고 Kaggle 웹사이트에서 해당 경쟁 규칙에 동의해야 합니다.
# 1. 대회 이름은 Kaggle platform.rdagent kaggle --competition [your-competition-name]# 2. 구체적으로 다음과 같이 대회 이름을 입력할 수 있습니다.# 대회 다운로드 설명 파일을 로컬 디렉토리에 저장합니다wget https://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# 파일을 로컬 디렉토리에 압축 해제unzip kaggle_data.zip -d /your/local/directory/kaggle_data# set 환경 변수export LOCAL_DATA_PATH=/your/local/directory/kaggle_data/kaggle # applicationrdagent kaggle --competition sf-crime을 실행합니다.
이용 가능한 대회 목록은 여기에서 확인할 수 있습니다.
자세한 내용은 예제 가이드를 참조하세요.
다음 명령을 실행하여 데모 앱을 제공하여 RD 루프를 모니터링할 수 있습니다.
rdagent ui --port 80 --log_dir <"log/와 같은 로그 폴더">
우리는 여러 가지 귀중한 데이터 기반 산업 시나리오에 RD-Agent를 적용했습니다.
이 프로젝트에서 우리는 데이터 기반 R&D를 자동화하는 에이전트를 구축하는 것을 목표로 합니다.
실제 자료(보고서, 논문 등)를 읽고 데이터 기반 R&D의 핵심 구성 요소인 주요 공식, 관심 기능 및 모델 에 대한 설명을 추출합니다 .
실행 가능한 코드에서 추출된 수식(예: 기능, 요소 및 모델)을 구현합니다 .
한 번에 구현할 수 있는 LLM의 능력이 제한되어 있으므로 상담원이 피드백과 지식을 통해 학습하여 성능을 향상할 수 있도록 진화하는 프로세스를 구축하세요.
현재의 지식과 관찰을 바탕으로 새로운 아이디어를 제안합니다.
데이터 기반 시나리오의 두 가지 핵심 영역인 모델 구현과 데이터 구축에서 우리 시스템은 'Copilot'과 'Agent'라는 두 가지 주요 역할을 수행하는 것을 목표로 합니다.
?Copilot은 인간의 지시에 따라 반복 작업을 자동화합니다.
?Agent는 보다 자율적이므로 향후 더 나은 결과를 위한 아이디어를 적극적으로 제안합니다.
지원되는 시나리오는 다음과 같습니다.
| 시나리오/대상 | 모델 구현 | 데이터 구축 |
|---|---|---|
| 재원 | 반복적인 아이디어 제안 및 진화 | 반복적인 아이디어 제안 및 진화 자동 보고서 읽기 및 구현 |
| 의료 | 반복적인 아이디어 제안 및 진화 | - |
| 일반적인 | 자동 논문 읽기 및 구현 자동 Kaggle 모델 튜닝 | 자동 Kaggle 기능 엔지니어링 |
RoadMap : 현재 Kaggle 시나리오에 새로운 기능을 추가하기 위해 열심히 노력하고 있습니다.
다양한 시나리오는 입구와 구성에 따라 다릅니다. 자세한 설정 튜토리얼은 시나리오 문서에서 확인하세요.
다음은 성공적인 탐색 갤러리입니다( ?️ 라이브 데모 에 표시된 5개의 추적). 아래 명령을 사용하여 실행 추적을 다운로드하고 볼 수 있습니다.
rdagent ui --port 80 --log_dir ./demo_traces
시나리오에 대한 자세한 내용은 ?readthedocs_scen 을 참조하세요.
데이터 과학에서 R&D 프로세스를 자동화하는 것은 매우 가치가 높지만 업계에서는 충분히 탐구되지 않은 분야입니다. 우리는 이 중요한 연구 분야의 경계를 넓힐 수 있는 프레임워크를 제안합니다.
이 프레임워크 내의 연구 질문은 세 가지 주요 범주로 나눌 수 있습니다.
| 연구분야 | 논문/작업 목록 |
|---|---|
| R&D 역량 벤치마킹 | 기준 |
| 아이디어 제안: 새로운 아이디어를 탐색하거나 기존 아이디어를 개선합니다. | 연구 |
| 아이디어 실현 능력 : 아이디어를 구현하고 실행하는 능력 | 개발 |
우리는 고품질 솔루션 제공의 핵심은 R&D 역량을 발전시키는 능력에 있다고 믿습니다. 에이전트는 인간 전문가처럼 학습하여 R&D 기술을 지속적으로 향상시켜야 합니다.
더 많은 문서는 ? 문서를 읽어보세요 .
데이터 중심의 자동 R&D를 향하여
@misc{chen2024datacentric,title={데이터 중심 자동 R&D를 향하여},author={Haotian Chen, Xinjie Shen, Zeqi Ye, Wenjun Feng, Haoxue Wang, Xiao Yang, Xu Yang, Weiqing Liu, Jiang Bian},year={ 2024},eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}} 
데이터 마이닝 전문가의 일상적인 연구 및 개발 프로세스에서 가설(예: RNN과 같은 모델 구조는 시계열 데이터의 패턴을 캡처할 수 있음), 설계 실험(예: 금융 데이터에 시계열이 포함되어 있으며 가설을 검증할 수 있음)을 제안합니다. 이 시나리오에서는) 실험을 코드(예: Pytorch 모델 구조)로 구현한 다음 코드를 실행하여 피드백(예: 메트릭, 손실 곡선 등)을 얻습니다. 전문가들은 피드백을 통해 학습하고 다음 반복에서 개선합니다.
위의 원칙을 바탕으로 지속적으로 가설을 제안하고 검증하며 실제 사례로부터 피드백을 받는 기본 방법론 프레임워크를 구축했습니다. 이는 실제 검증과의 연결을 지원하는 최초의 과학 연구 자동화 프레임워크입니다.
자세한 내용은 ?️ 라이브 데모 페이지 를 참조하세요.
자동 데이터 중심 개발을 위한 협업적 진화 전략
@misc{yang2024collaborative,title={자동 데이터 중심 개발을 위한 공동 발전 전략},author={Xu Yang 및 Haotian Chen 및 Wenjun Feng 및 Haoxue Wang 및 Zeqi Ye 및 Xinjie Shen 및 Xiao Yang 및 Shizhao Sun 및 Weiqing Liu 및 Jiang Bian},연도={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}} 
이 프로젝트는 기여와 제안을 환영합니다. 이 프로젝트에 기여하는 것은 간단하고 보람 있는 일입니다. 문제 해결, 버그 해결, 문서 강화, 오타 수정 등 모든 기여는 가치가 있으며 RDAgent를 개선하는 데 도움이 됩니다.
시작하려면 문제 목록을 탐색하거나 grep -r "TODO:" 명령을 실행하여 코드베이스에서 TODO: 주석을 검색할 수 있습니다.
RD-Agent를 GitHub에 오픈 소스 프로젝트로 출시하기 전에는 우리 그룹 내 내부 프로젝트였습니다. 불행하게도 일부 기밀 코드를 제거했을 때 내부 커밋 기록은 보존되지 않았습니다. 결과적으로 Haotian Chen, Wenjun Feng, Haoxue Wang, Zeqi Ye, Xinjie Shen 및 Jinhui Li를 포함한 우리 그룹 구성원의 일부 기여는 공개 커밋에 포함되지 않았습니다.
RD-agent는 상품성, 특정 목적에의 적합성 및 비침해에 대한 보증을 포함하되 이에 국한되지 않고 명시적이든 묵시적이든 어떠한 종류의 보증도 없이 "있는 그대로" 제공됩니다. RD-agent는 금융 산업의 연구 개발 프로세스를 촉진하는 것을 목표로 하며 금융 투자나 조언에 바로 사용할 수는 없습니다. 사용자는 특정 사용 시나리오에서 RD 에이전트의 위험을 독립적으로 평가 및 테스트하고, 위험 완화 조치의 개발 및 통합을 포함하되 이에 국한되지 않는 AI 기술의 책임 있는 사용을 보장하고, 모든 해당 법률 및 규정을 준수해야 합니다. 관할권. RD 에이전트는 재무 의견을 제공하거나 Microsoft의 의견을 반영하지 않으며, 금융 상품의 작성, 평가 및 승인에 있어 자격을 갖춘 금융 전문가의 역할을 대체하도록 설계되지도 않았습니다. RD 에이전트의 입력 및 출력은 사용자에게 속하며 사용자는 RD 에이전트 사용과 관련된 계약, 불법 행위, 규제, 부주의, 제조물 책임 또는 기타 책임 이론에 따라 모든 책임을 져야 합니다. 그 모든 입력과 출력.
