Demo Langsung | Video Demo
| Berita | Keterangan |
|---|---|
| Rilis Skenario Kaggle | Kami merilis Agen Kaggle , coba fitur baru! |
| Rilis resmi grup WeChat | Kami membuat grup WeChat, selamat bergabung! (?Kode QR) |
| Rilis Perselisihan resmi | Kami meluncurkan saluran obrolan pertama kami di Discord (?) |
| Rilis pertama | RDAgent dirilis di GitHub |
RDAgent bertujuan untuk mengotomatiskan aspek paling penting dan berharga dari proses penelitian dan pengembangan industri, dan kami mulai dengan berfokus pada skenario berbasis data untuk menyederhanakan pengembangan model dan data. Secara metodologis, kami telah mengidentifikasi kerangka kerja dengan dua komponen utama: 'R' untuk mengusulkan ide-ide baru dan 'D' untuk mengimplementasikannya. Kami percaya bahwa evolusi otomatis penelitian dan pengembangan akan menghasilkan solusi yang bernilai industri signifikan.
Penelitian dan pengembangan adalah skenario yang sangat umum. Munculnya RDAgent bisa menjadi milik Anda
Pabrik Kuantitas Otomatis (?Video Demo|
YouTube)
Agen Penambangan Data: Mengusulkan data & model secara berulang (?Video Demo 1|
YouTube) (?Video Demo 2|
YouTube) dan menerapkannya dengan memperoleh pengetahuan dari data.
Kopilot Penelitian: Membaca makalah penelitian secara otomatis (?Video Demo|
YouTube) / laporan keuangan (?Video Demo|
YouTube) dan menerapkan struktur model atau membangun kumpulan data.
Agen Kaggle: Penyetelan Model Otomatis dan Rekayasa Fitur (?Video Demo Segera Hadir...) dan menerapkannya untuk meraih lebih banyak prestasi dalam kompetisi.
...
Anda dapat mengklik tautan di atas untuk melihat demo. Kami terus menambahkan lebih banyak metode dan skenario ke proyek untuk menyempurnakan proses penelitian dan pengembangan Anda serta meningkatkan produktivitas.
Selain itu, Anda dapat melihat lebih dekat contoh di ?️ Demo Langsung kami.
Anda dapat mencoba demo di atas dengan menjalankan perintah berikut:
Pengguna harus memastikan Docker diinstal sebelum mencoba sebagian besar skenario. Silakan merujuk ke halaman ?Docker resmi untuk instruksi instalasi.
Buat lingkungan conda baru dengan Python (3.10 dan 3.11 telah diuji dengan baik di CI kami):
conda create -n rdagent python=3.10
Aktifkan lingkungan:
conda mengaktifkan agen rd
Anda dapat langsung menginstal paket RDAgent dari PyPI:
pip instal agen rd
Anda harus mengonfigurasi model GPT Anda di .env
cat << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
?️ Demo Langsung diimplementasikan dengan perintah berikut (setiap item mewakili satu demo, Anda dapat memilih salah satu yang Anda sukai):
Jalankan Perdagangan Kuantitatif Otomatis & Evolusi Faktor Iteratif : Proposal dan aplikasi implementasi faktor self-loop Qlib
agen fin_factor
Jalankan Perdagangan Kuantitatif Otomatis & Evolusi Model Iteratif : proposal model self-loop Qlib dan aplikasi implementasi
agen fin_model
Jalankan Evolusi Model Prediksi Medis Otomatis : Proposal dan aplikasi implementasi model self-loop medis
(1) Ajukan permohonan akun di PhysioNet.
(2) Meminta akses ke data yang telah diproses FIDDLE: Kumpulan Data FIDDLE.
(3) Tempatkan nama pengguna dan kata sandi Anda di.env.
kucing << EOF >> .envDM_USERNAME=DM_PASSWORD= EOF
agen med_model
Jalankan Perdagangan Kuantitatif Otomatis & Ekstraksi Faktor dari Laporan Keuangan : Jalankan aplikasi ekstraksi dan implementasi faktor Qlib berdasarkan laporan keuangan
# 1. Umumnya, Anda dapat menjalankan skenario ini menggunakan perintah berikut:rdagent fin_factor_report --report_folder=# 2. Secara khusus, Anda perlu menyiapkan beberapa laporan keuangan terlebih dahulu. Anda dapat mengikuti contoh nyata ini:wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip buka zip all_reports.zip -d git_ignore_folder/reports agen fin_factor_report --report_folder=git_ignore_folder/laporan
Jalankan Kopilot Penelitian & Pengembangan Model Otomatis : ekstraksi model dan aplikasi implementasi
# 1. Secara umum, Anda dapat menjalankan makalah/laporan Anda sendiri dengan perintah berikut:rdagent general_model# 2. Secara khusus, Anda dapat melakukannya seperti ini. Untuk detail lebih lanjut dan contoh makalah tambahan, gunakan `rdagent general_model -h`:rdagent general_model "https://arxiv.org/pdf/2210.09789"
Jalankan Penyetelan Model Kaggle Otomatis & Rekayasa Fitur : proposal model self-loop dan aplikasi implementasi rekayasa fitur
Catatan : Aplikasi ini akan secara otomatis mengunduh data kompetisi Kaggle kecuali Anda menyiapkan data secara lokal. Jika Anda tidak memiliki data secara lokal, Anda perlu mengonfigurasi Kaggle API dan menyetujui aturan persaingan terkait di situs web Kaggle.
# 1. nama kompetisi harus sesuai dengan nama yang digunakan dengan API di platform Kaggle.rdagent kaggle --competition [nama-kompetisi Anda]# 2. Secara spesifik, Anda dapat mengisi nama kompetisi sebagai berikut:# unduh kompetisi deskripsi file ke direktori lokal Andawget https://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# unzip file ke Anda direktori lokalunzip kaggle_data.zip -d /your/local/directory/kaggle_data# atur variabel lingkunganekspor LOCAL_DATA_PATH=/your/local/directory/kaggle_data/kaggle # jalankan aplikasirdagent kaggle --competition sf-crime
Daftar Kompetisi yang Tersedia dapat dilihat di sini.
Untuk lebih jelasnya, Anda dapat merujuk pada contoh panduan.
Anda dapat menggunakan aplikasi demo kami untuk memantau loop RD dengan menjalankan perintah berikut:
rdagent ui --port 80 --log_dir
Kami telah menerapkan RD-Agent pada berbagai skenario industri berbasis data yang berharga.
Dalam proyek ini, kami bertujuan untuk membangun Agen untuk mengotomatiskan R&D Berbasis Data yang dapat melakukannya
Baca materi dunia nyata (laporan, makalah, dll.) dan ekstrak rumus utama, deskripsi fitur dan model yang diminati, yang merupakan komponen utama penelitian dan pengembangan berbasis data.
Terapkan rumus yang diekstraksi (misalnya, fitur, faktor, dan model) dalam kode yang dapat dijalankan.
Karena keterbatasan kemampuan LLM dalam mengimplementasikan sekaligus, bangunlah proses yang berkembang bagi agen untuk meningkatkan kinerja dengan belajar dari umpan balik dan pengetahuan.
Usulkan ide-ide baru berdasarkan pengetahuan dan observasi terkini.
Dalam dua bidang utama skenario berbasis data, implementasi model dan pembuatan data, sistem kami bertujuan untuk menjalankan dua peran utama: ?Copilot dan ?Agen.
?Copilot mengikuti instruksi manusia untuk mengotomatiskan tugas yang berulang.
?Agen, karena lebih otonom, secara aktif mengajukan ide untuk hasil yang lebih baik di masa depan.
Skenario yang didukung tercantum di bawah ini:
| Skenario/Target | Implementasi Model | Pembuatan Data |
|---|---|---|
| Keuangan | Mengusulkan Ide & Berkembang Secara Berulang | Mengusulkan Ide & Berkembang Secara Berulang Pembacaan & implementasi laporan otomatis |
| Medis | Mengusulkan Ide & Berkembang Secara Berulang | - |
| Umum | Pembacaan & implementasi makalah otomatis Penyetelan Model Kaggle Otomatis | Rekayasa fitur Kaggle Otomatis |
RoadMap : Saat ini, kami sedang bekerja keras untuk menambahkan fitur baru ke skenario Kaggle.
Skenario yang berbeda berbeda-beda dalam pintu masuk dan konfigurasi. Silakan periksa tutorial pengaturan terperinci di dokumen skenario.
Berikut adalah galeri eksplorasi yang berhasil (5 jejak ditampilkan di ?️ Demo Langsung ). Anda dapat mengunduh dan melihat jejak eksekusi menggunakan perintah di bawah ini:
agen ui --port 80 --log_dir ./demo_traces
Silakan merujuk ke ?readthedocs_scen untuk rincian skenario lebih lanjut.
Mengotomatiskan proses penelitian dan pengembangan dalam ilmu data adalah bidang industri yang sangat berharga namun belum banyak dieksplorasi. Kami mengusulkan kerangka kerja untuk mendorong batas-batas bidang penelitian penting ini.
Pertanyaan penelitian dalam kerangka ini dapat dibagi menjadi tiga kategori utama:
| Daerah Penelitian | Kertas/Daftar Pekerjaan |
|---|---|
| Tolok ukur kemampuan R&D | Tolok ukur |
| Proposal ide: Jelajahi ide-ide baru atau sempurnakan ide-ide yang sudah ada | Riset |
| Kemampuan untuk mewujudkan ide: Menerapkan dan melaksanakan ide | Perkembangan |
Kami percaya bahwa kunci untuk memberikan solusi berkualitas tinggi terletak pada kemampuan untuk mengembangkan kemampuan penelitian dan pengembangan. Agen harus belajar seperti manusia yang ahli, terus meningkatkan keterampilan penelitian dan pengembangannya.
Dokumen lebih lanjut dapat ditemukan di ? baca dokumen .
Menuju Penelitian dan Pengembangan Otomatis yang Berpusat pada Data
@misc{chen2024datacentric,title={Menuju Litbang Otomatis Berpusat Data},author={Haotian Chen dan Xinjie Shen dan Zeqi Ye dan Wenjun Feng dan Haoxue Wang dan Xiao Yang dan Xu Yang dan Weiqing Liu dan Jiang Bian},year={ 2024},eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}} 
Dalam proses penelitian dan pengembangan sehari-hari seorang pakar data mining, mereka mengajukan hipotesis (misalnya, struktur model seperti RNN dapat menangkap pola dalam data deret waktu), merancang eksperimen (misalnya, data keuangan berisi deret waktu dan kita dapat memverifikasi hipotesis tersebut dalam skenario ini), terapkan eksperimen sebagai kode (misalnya, struktur model Pytorch), lalu jalankan kode untuk mendapatkan umpan balik (misalnya, metrik, kurva kerugian, dll.). Para ahli belajar dari umpan balik dan melakukan perbaikan pada iterasi berikutnya.
Berdasarkan prinsip-prinsip di atas, kami telah menetapkan kerangka metode dasar yang terus-menerus mengajukan hipotesis, memverifikasinya, dan mendapatkan umpan balik dari praktik dunia nyata. Ini adalah kerangka kerja otomasi penelitian ilmiah pertama yang mendukung penghubungan dengan verifikasi dunia nyata.
Untuk detail lebih lanjut, silakan merujuk ke ?️ halaman Demo Langsung kami.
Strategi Evolusi Kolaboratif untuk Pengembangan Berpusat Data Otomatis
@misc{yang2024collaborative,title={Strategi Perkembangan Kolaboratif untuk Pengembangan Berpusat Data Otomatis},author={Xu Yang dan Haotian Chen dan Wenjun Feng dan Haoxue Wang dan Zeqi Ye dan Xinjie Shen dan Xiao Yang dan Shizhao Sun dan Weiqing Liu dan Jiang Bian},tahun={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}} 
Proyek ini menyambut baik kontribusi dan saran. Berkontribusi pada proyek ini sangatlah mudah dan bermanfaat. Baik itu menyelesaikan masalah, mengatasi bug, menyempurnakan dokumentasi, atau bahkan memperbaiki kesalahan ketik, setiap kontribusi sangat berharga dan membantu meningkatkan RDAgent.
Untuk memulai, Anda dapat menjelajahi daftar masalah, atau mencari komentar TODO: di basis kode dengan menjalankan perintah grep -r "TODO:" .
Sebelum kami merilis RD-Agent sebagai proyek sumber terbuka di GitHub, ini adalah proyek internal dalam grup kami. Sayangnya, riwayat penerapan internal tidak disimpan saat kami menghapus beberapa kode rahasia. Akibatnya, beberapa kontribusi dari anggota kelompok kami, termasuk Haotian Chen, Wenjun Feng, Haoxue Wang, Zeqi Ye, Xinjie Shen, dan Jinhui Li, tidak dimasukkan dalam komitmen publik.
Agen RD disediakan “sebagaimana adanya”, tanpa jaminan apa pun, tersurat maupun tersirat, termasuk namun tidak terbatas pada jaminan dapat diperjualbelikan, kesesuaian untuk tujuan tertentu, dan tidak adanya pelanggaran. Agen RD bertujuan untuk memfasilitasi proses penelitian dan pengembangan di industri keuangan dan tidak siap digunakan untuk investasi atau saran keuangan apa pun. Pengguna harus secara independen menilai dan menguji risiko agen RD dalam skenario penggunaan tertentu, memastikan penggunaan teknologi AI secara bertanggung jawab, termasuk namun tidak terbatas pada mengembangkan dan mengintegrasikan langkah-langkah mitigasi risiko, dan mematuhi semua hukum dan peraturan yang berlaku di semua negara yang berlaku. yurisdiksi. Agen RD tidak memberikan opini keuangan atau mencerminkan opini Microsoft, juga tidak dirancang untuk menggantikan peran profesional keuangan yang berkualifikasi dalam merumuskan, menilai, dan menyetujui produk keuangan. Input dan output dari agen RD adalah milik pengguna dan pengguna akan menanggung semua tanggung jawab berdasarkan teori tanggung jawab apa pun, baik dalam kontrak, perbuatan melawan hukum, peraturan, kelalaian, tanggung jawab produk, atau lainnya, terkait dengan penggunaan agen RD dan setiap masukan dan keluarannya.
