Live-Demo | Demo-Video
| Nachricht | Beschreibung |
|---|---|
| Veröffentlichung des Kaggle-Szenarios | Wir veröffentlichen Kaggle Agent , probieren Sie die neuen Funktionen aus! |
| Offizielle Veröffentlichung der WeChat-Gruppe | Wir haben eine WeChat-Gruppe gegründet, herzlich willkommen! (?QR-Code) |
| Offizielle Discord-Veröffentlichung | Wir starten unseren ersten Chat-Kanal in Discord (?) |
| Erste Veröffentlichung | RDAgent wird auf GitHub veröffentlicht |
RDAgent zielt darauf ab, die kritischsten und wertvollsten Aspekte des industriellen F&E-Prozesses zu automatisieren. Wir konzentrieren uns zunächst auf die datengesteuerten Szenarien, um die Entwicklung von Modellen und Daten zu optimieren. Methodisch haben wir einen Rahmen mit zwei Schlüsselkomponenten identifiziert: „R“ für das Vorschlagen neuer Ideen und „D“ für deren Umsetzung. Wir glauben, dass die automatische Weiterentwicklung von Forschung und Entwicklung zu Lösungen von erheblichem industriellem Wert führen wird.
Forschung und Entwicklung sind ein sehr allgemeines Szenario. Die Einführung von RDAgent kann Ihr sein
Automatische Quant-Fabrik (?Demo-Video|
YouTube)
Data-Mining-Agent: Iterativ Daten und Modelle vorschlagen (?Demo-Video 1|
YouTube) (?Demo-Video 2|
YouTube) und deren Umsetzung durch Wissensgewinnung aus Daten.
Research Copilot: Forschungsarbeiten automatisch lesen (?Demo-Video|
YouTube) / Finanzberichte (?Demo-Video|
YouTube) und implementieren Sie Modellstrukturen oder Gebäudedatensätze.
Kaggle Agent: Automodell-Tuning und Feature-Engineering (Demo-Video folgt bald...) und deren Umsetzung, um bei Wettbewerben mehr zu erreichen.
...
Sie können auf die Links oben klicken, um die Demo anzusehen. Wir fügen dem Projekt kontinuierlich weitere Methoden und Szenarien hinzu, um Ihre F&E-Prozesse zu verbessern und die Produktivität zu steigern.
Darüber hinaus können Sie sich die Beispiele in unserer ?️Live-Demo genauer ansehen.
Sie können die oben genannten Demos ausprobieren, indem Sie den folgenden Befehl ausführen:
Benutzer müssen sicherstellen, dass Docker installiert ist, bevor sie die meisten Szenarios ausprobieren. Installationsanweisungen finden Sie auf der offiziellen Docker-Seite.
Erstellen Sie eine neue Conda-Umgebung mit Python (3.10 und 3.11 sind in unserem CI gut getestet):
conda create -n rdagent python=3.10
Aktivieren Sie die Umgebung:
Conda aktiviert rdagent
Sie können das RDAgent-Paket direkt von PyPI installieren:
pip install rdagent
Sie müssen Ihr GPT-Modell in der .env konfigurieren
cat << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
Die ?️ Live-Demo wird durch die folgenden Befehle implementiert (jedes Element stellt eine Demo dar, Sie können die gewünschte Demo auswählen):
Führen Sie die Anwendung „Automated Quantitative Trading & Iterative Factors Evolution : Qlib Self-Loop Factor Proposal and Implementation“ aus
rdagent fin_factor
Führen Sie die Anwendung „Automated Quantitative Trading & Iterative Model Evolution : Qlib Self-Loop-Modellvorschlag und -Implementierung“ aus
rdagent fin_model
Führen Sie die Anwendung „Automated Medical Prediction Model Evolution : Vorschlag und Implementierung eines medizinischen Self-Loop-Modells“ aus
(1) Beantragen Sie ein Konto bei PhysioNet.
(2) Fordern Sie Zugriff auf die vorverarbeiteten FIDDLE-Daten an: FIDDLE-Datensatz.
(3) Geben Sie Ihren Benutzernamen und Ihr Passwort in.envein.
cat << EOF >> .envDM_USERNAME=DM_PASSWORD= EOF
rdagent med_model
Führen Sie den automatisierten quantitativen Handel und die Faktorextraktion aus Finanzberichten aus: Führen Sie die Qlib-Anwendung zur Faktorextraktion und -implementierung basierend auf Finanzberichten aus
# 1. Im Allgemeinen können Sie dieses Szenario mit dem folgenden Befehl ausführen: rdagent fin_factor_report --report_folder=# 2. Insbesondere müssen Sie zuerst einige Finanzberichte vorbereiten. Sie können diesem konkreten Beispiel folgen:wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip entpacken Sie all_reports.zip -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/reports
Führen Sie die Anwendung Automated Model Research & Development Copilot : Modellextraktion und -implementierung aus
# 1. Im Allgemeinen können Sie Ihre eigenen Papiere/Berichte mit dem folgenden Befehl ausführen: rdagent general_model# 2. Konkret können Sie es so machen. Für weitere Details und zusätzliche Papierbeispiele verwenden Sie „rdagent general_model -h“:rdagent general_model „https://arxiv.org/pdf/2210.09789“
Führen Sie die Anwendung „Automated Kaggle Model Tuning & Feature Engineering : Self-Loop-Modellvorschlag und Feature-Engineering-Implementierung“ aus
Hinweis : Diese Anwendung lädt Kaggle-Wettbewerbsdaten automatisch herunter, es sei denn, Sie bereiten die Daten lokal vor. Wenn Sie die Daten nicht lokal haben, müssen Sie die Kaggle-API konfigurieren und den entsprechenden Wettbewerbsregeln auf der Kaggle-Website zustimmen.
# 1. Der Wettbewerbsname muss mit dem Namen übereinstimmen, der mit der API auf der Kaggle-Plattform verwendet wird.rdagent kaggle --competition [Ihr-Wettbewerbsname]# 2. Konkret können Sie den Wettbewerbsnamen wie folgt ausfüllen:# Laden Sie den Wettbewerb herunter Beschreibungsdateien in Ihr lokales Verzeichnis kopieren Umgebungsvariablenexport LOCAL_DATA_PATH=/your/local/directory/kaggle_data/kaggle # Führen Sie die Anwendung aus: rdagent kaggle --competition sf-crime
Die verfügbare Wettbewerbsliste finden Sie hier.
Weitere Einzelheiten finden Sie in der Beispielanleitung.
Sie können unsere Demo-App zur Überwachung der RD-Schleife bereitstellen, indem Sie den folgenden Befehl ausführen:
rdagent ui --port 80 --log_dir
Wir haben RD-Agent auf mehrere wertvolle datengesteuerte Industrieszenarien angewendet.
In diesem Projekt wollen wir einen Agenten zur Automatisierung datengesteuerter Forschung und Entwicklung entwickeln, der dies kann
Lesen Sie reales Material (Berichte, Papiere usw.) und extrahieren Sie Schlüsselformeln, Beschreibungen interessierter Funktionen und Modelle , die die Schlüsselkomponenten datengesteuerter Forschung und Entwicklung sind.
Implementieren Sie die extrahierten Formeln (z. B. Features, Faktoren und Modelle) in ausführbaren Codes.
Aufgrund der begrenzten Fähigkeit von LLM zur sofortigen Implementierung sollten Sie einen sich entwickelnden Prozess aufbauen, damit der Agent die Leistung verbessern kann, indem er aus Feedback und Wissen lernt.
Schlagen Sie neue Ideen vor, die auf aktuellen Erkenntnissen und Beobachtungen basieren.
In den beiden Schlüsselbereichen datengesteuerter Szenarien, Modellimplementierung und Datenaufbau, zielt unser System darauf ab, zwei Hauptrollen zu übernehmen: „Copilot“ und „Agent“.
Der „Copilot“ folgt menschlichen Anweisungen, um sich wiederholende Aufgaben zu automatisieren.
Der „Agent“ ist autonomer und schlägt aktiv Ideen für bessere Ergebnisse in der Zukunft vor.
Die unterstützten Szenarien sind unten aufgeführt:
| Szenario/Ziel | Modellimplementierung | Datenaufbau |
|---|---|---|
| Finanzen | Iterativ Ideen vorschlagen und weiterentwickeln | Iterativ Ideen vorschlagen und weiterentwickeln Automatisches Lesen und Implementieren von Berichten |
| Medizinisch | Iterativ Ideen vorschlagen und weiterentwickeln | - |
| Allgemein | Automatisches Lesen und Implementieren von Papier Automatisches Kaggle-Modelltuning | Auto-Kaggle-Feature-Engineering |
RoadMap : Derzeit arbeiten wir intensiv daran, dem Kaggle-Szenario neue Funktionen hinzuzufügen.
Verschiedene Szenarien variieren in Eingang und Konfiguration. Bitte sehen Sie sich das ausführliche Setup-Tutorial in den Szenariodokumenten an.
Hier ist eine Galerie erfolgreicher Erkundungen (5 Spuren, die in der ?️ Live-Demo gezeigt werden). Sie können den Ausführungs-Trace mit dem folgenden Befehl herunterladen und anzeigen:
rdagent ui --port 80 --log_dir ./demo_traces
Weitere Einzelheiten zu den Szenarien finden Sie unter ?readthedocs_scen .
Die Automatisierung des F&E-Prozesses in der Datenwissenschaft ist ein äußerst wertvoller, aber noch wenig erforschter Bereich in der Industrie. Wir schlagen einen Rahmen vor, um die Grenzen dieses wichtigen Forschungsfeldes zu erweitern.
Die Forschungsfragen in diesem Rahmen lassen sich in drei Hauptkategorien einteilen:
| Forschungsbereich | Papier-/Arbeitsliste |
|---|---|
| Benchmarken Sie die F&E-Fähigkeiten | Benchmark |
| Ideenvorschlag: Entdecken Sie neue Ideen oder verfeinern Sie bestehende | Forschung |
| Fähigkeit zur Ideenverwirklichung: Ideen umsetzen und umsetzen | Entwicklung |
Wir glauben, dass der Schlüssel zur Bereitstellung hochwertiger Lösungen in der Fähigkeit liegt, die Forschungs- und Entwicklungskapazitäten weiterzuentwickeln. Agenten sollten wie menschliche Experten lernen und ihre F&E-Fähigkeiten kontinuierlich verbessern.
Weitere Dokumente finden Sie im ? readthedocs .
Auf dem Weg zu einer datenzentrierten automatischen Forschung und Entwicklung
@misc{chen2024datacentric,title={Towards Data-Centric Automatic R&D},author={Haotian Chen und Xinjie Shen und Zeqi Ye und Wenjun Feng und Haoxue Wang und Xiao Yang und Xu Yang und Weiqing Liu und Jiang Bian},year={ 2024},eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}} 
Im täglichen Forschungs- und Entwicklungsprozess eines Data-Mining-Experten schlagen sie eine Hypothese vor (z. B. kann eine Modellstruktur wie RNN Muster in Zeitreihendaten erfassen), entwerfen Experimente (z. B. Finanzdaten enthalten Zeitreihen) und wir können die Hypothese überprüfen In diesem Szenario implementieren Sie das Experiment als Code (z. B. Pytorch-Modellstruktur) und führen dann den Code aus, um Feedback zu erhalten (z. B. Metriken, Verlustkurve usw.). Die Experten lernen aus dem Feedback und verbessern sich in der nächsten Iteration.
Basierend auf den oben genannten Prinzipien haben wir ein grundlegendes Methodengerüst etabliert, das kontinuierlich Hypothesen vorschlägt, diese überprüft und Feedback aus der Praxis erhält. Dies ist das erste Framework zur Automatisierung wissenschaftlicher Forschung, das die Verknüpfung mit der Verifizierung in der realen Welt unterstützt.
Weitere Einzelheiten finden Sie auf unserer Seite „Live-Demo“ .
Kollaborative Entwicklungsstrategie für die automatische datenzentrierte Entwicklung
@misc{yang2024collaborative,title={Collaborative Evolving Strategy for Automatic Data-Centric Development},author={Xu Yang und Haotian Chen und Wenjun Feng und Haoxue Wang und Zeqi Ye und Xinjie Shen und Xiao Yang und Shizhao Sun und Weiqing Liu und Jiang Bian},year={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}} 
Dieses Projekt freut sich über Beiträge und Vorschläge. Die Mitarbeit an diesem Projekt ist unkompliziert und lohnend. Ob es darum geht, ein Problem zu lösen, einen Fehler zu beheben, die Dokumentation zu verbessern oder sogar einen Tippfehler zu korrigieren, jeder Beitrag ist wertvoll und trägt zur Verbesserung von RDAgent bei.
Um zu beginnen, können Sie die Problemliste durchsuchen oder in der Codebasis nach TODO: -Kommentaren suchen, indem Sie den Befehl grep -r "TODO:" ausführen.
Bevor wir RD-Agent als Open-Source-Projekt auf GitHub veröffentlichten, war es ein internes Projekt innerhalb unserer Gruppe. Leider blieb der interne Commit-Verlauf nicht erhalten, als wir vertraulichen Code entfernten. Infolgedessen wurden einige Beiträge unserer Gruppenmitglieder, darunter Haotian Chen, Wenjun Feng, Haoxue Wang, Zeqi Ye, Xinjie Shen und Jinhui Li, nicht in die öffentlichen Beiträge aufgenommen.
Der RD-Agent wird „wie besehen“ bereitgestellt, ohne ausdrückliche oder stillschweigende Gewährleistung jeglicher Art, einschließlich, aber nicht beschränkt auf die Gewährleistung der Marktgängigkeit, der Eignung für einen bestimmten Zweck und der Nichtverletzung von Rechten Dritter. Der RD-Agent soll den Forschungs- und Entwicklungsprozess in der Finanzbranche erleichtern und ist nicht gebrauchsfertig für Finanzinvestitionen oder Beratung. Benutzer müssen die Risiken des RD-Agenten in einem bestimmten Anwendungsszenario unabhängig bewerten und testen, den verantwortungsvollen Einsatz der KI-Technologie sicherstellen, einschließlich, aber nicht beschränkt auf die Entwicklung und Integration von Risikominderungsmaßnahmen, und alle geltenden Gesetze und Vorschriften in allen anwendbaren Fällen einhalten Gerichtsbarkeiten. Der RD-Agent gibt keine Finanzmeinungen ab und spiegelt nicht die Meinung von Microsoft wider. Er ist auch nicht dazu gedacht, die Rolle qualifizierter Finanzfachleute bei der Formulierung, Bewertung und Genehmigung von Finanzprodukten zu ersetzen. Die Eingaben und Ausgaben des RD-Agenten gehören den Benutzern, und die Benutzer übernehmen die gesamte Haftung gemäß jeglicher Haftungstheorie, sei es vertraglich, aus unerlaubter Handlung, aufgrund von Vorschriften, Fahrlässigkeit, Produkthaftung oder auf andere Weise im Zusammenhang mit der Nutzung des RD-Agenten etwaige Ein- und Ausgänge davon.
