現場演示 |示範影片
訊息 | 描述 |
---|---|
Kaggle 場景發布 | 我們發布了Kaggle Agent ,請嘗試新功能! |
官方微信群發布 | 我們建了一個微信群,歡迎加入! (?QR 圖碼) |
官方不和諧版本 | 我們在 Discord 中推出了第一個聊天頻道(?) |
首次發布 | RDAgent在 GitHub 上發布 |
RDAgent旨在實現工業研發流程中最關鍵和最有價值的方面的自動化,我們首先關注數據驅動的場景,以簡化模型和數據的開發。在方法論上,我們確定了一個包含兩個關鍵組成部分的框架:「R」用於提出新想法,「D」用於實施它們。我們相信,研發的自動發展將帶來具有重大工業價值的解決方案。
研發是一個非常普遍的場景。 RDAgent 的出現可以為您帶來
自動定量工廠(?示範影片|
Youtube)
資料探勘代理:迭代地提出資料和模型(?演示影片 1|
YouTube) (?示範影片 2|
YouTube)並透過從數據中獲取知識來實施它們。
研究副駕駛:自動閱讀研究論文(?示範影片|
YouTube)/財務報告(?示範影片|
YouTube)並實作模型結構或建立資料集。
Kaggle Agent:自動模型調整和特徵工程(?演示影片即將推出...)並實施它們以在比賽中取得更多成績。
……
您可以點擊上面的連結來查看演示。我們不斷為專案添加更多方法和場景,以增強您的研發流程並提高生產力。
此外,您可以仔細查看我們的?️ 現場演示中的範例。
您可以透過執行以下命令來嘗試上面的演示:
使用者必須確保在嘗試大多數場景之前安裝了 Docker。請參閱官方的 ?Docker 頁面以取得安裝說明。
使用 Python 建立一個新的 conda 環境(3.10 和 3.11 在我們的 CI 中經過了充分測試):
conda 創建-n rdagent python=3.10
激活環境:
conda 啟動 rdagent
您可以直接從 PyPI 安裝 RDAgent 套件:
pip 安裝 rdagent
您必須在.env
中配置 GPT 模型
cat << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
?️ Live Demo是透過以下命令實現的(每一項代表一個demo,您可以選擇您喜歡的):
運行自動量化交易和迭代因子進化:Qlib自循環因子提案和實施應用程序
rdagent fin_factor
運行自動量化交易和迭代模型演化:Qlib自循環模型提案和實施應用
rdagent fin_model
運行自動醫療預測模型演進:醫療自循環模型提案和實施應用
(1) 申請PhysioNet帳戶。
(2)請求存取FIDDLE預處理資料:FIDDLE Dataset。
(3) 將您的使用者名稱和密碼放入.env
中。
cat << EOF >> .envDM_USERNAME=<您的使用者名稱>DM_PASSWORD=<您的密碼>EOF
rdagent med_model
Run the Automated Quantitative Trading & Factors Extraction from Financial Reports : 根據財務報告運行 Qlib 因子提取和實施應用程序
# 1. 通常,您可以使用以下命令來執行此場景:rdagent fin_factor_report --report_folder=<您的財務報告資料夾路徑># 2. 具體來說,您需要先準備一些財務報告。您可以按照這個具體例子:wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip 解壓縮 all_reports.zip -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/報告
運行自動化模型研發副駕駛:模型提取和實施應用程序
# 1. 一般來說,您可以使用以下命令運行自己的論文/報告:rdagent generic_model# 2. 具體來說,您可以這樣做。如需更多詳細資訊和其他論文範例,請使用 `rdagent generic_model -h`:rdagent general_model "https://arxiv.org/pdf/2210.09789"
運行自動化 Kaggle 模型調整和特徵工程:自循環模型提案和特徵工程實施應用
注意:除非您在本地準備數據,否則此應用程式將自動下載 Kaggle 比賽數據。如果您本機沒有數據,則需要在Kaggle網站上設定Kaggle API並同意相應的競賽規則。
# 1. 競賽名稱必須與Kaggle平台上API使用的名稱一致。 ://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# 將檔案解壓縮到您的本機目錄unzip kaggle_data.zip -d /your/local/directory/kaggle_data# 環境變數#PLOPLOPLOex; /your/local/directory/kaggle_data/kaggle # 運行應用程式rdagent kaggle --competition sf-crime
可用的競賽清單可在此處找到。
有關更多詳細信息,您可以參考範例指南。
您可以透過執行以下命令來為我們的演示應用程式提供監控 RD 循環的服務:
rdagent ui --port 80 --log_dir <您的日誌資料夾,例如「log/」>
我們已將RD-Agent應用到多個有價值的數據驅動的產業場景。
在這個專案中,我們的目標是建立一個代理來自動化資料驅動的研發,可以
閱讀現實世界的資料(報告、論文等)並提取關鍵公式、感興趣的特徵和模型的描述,這是資料驅動研發的關鍵組成部分。
在可運行程式碼中實現提取的公式(例如特徵、因子和模型)。
由於LLM一次性實施的能力有限,請為代理商建立一個不斷發展的流程,透過從回饋和知識中學習來提高績效。
根據目前的知識和觀察提出新的想法。
在數據驅動場景的兩個關鍵領域——模型實現和數據構建,我們的系統旨在服務兩個主要角色:「Copilot」和「Agent」。
副駕駛依照人類指令自動執行重複性任務。
代理人更自主,積極提出想法,以求未來取得更好的結果。
支援的場景如下:
場景/目標 | 模型實現 | 數據建置 |
---|---|---|
金融 | 迭代提出想法並不斷發展 | 迭代提出想法並不斷發展 自動報告閱讀和實施 |
醫療的 | 迭代提出想法並不斷發展 | - |
一般的 | 自動論文閱讀與實現 自動 Kaggle 模型調整 | Auto Kaggle 特徵工程 |
RoadMap :目前,我們正在努力為Kaggle場景添加新功能。
不同場景的入口和配置有所不同。請查看場景文件中的詳細設定教學。
這裡是一個成功探索的畫廊(5 條痕跡顯示在?️ Live Demo中)。您可以使用以下命令下載並查看執行追蹤:
rdagent ui --埠 80 --log_dir ./demo_traces
有關場景的更多詳細信息,請參閱?readthedocs_scen 。
資料科學中的研發流程自動化是業界中一個非常有價值但尚未充分開發的領域。我們提出了一個框架來突破這個重要研究領域的界限。
此框架內的研究問題可分為三大類:
研究領域 | 論文/工作清單 |
---|---|
研發能力對標 | 基準 |
創意提案:探索新創意或完善現有創意 | 研究 |
實現想法的能力:實施與執行想法 | 發展 |
我們認為,提供高品質解決方案的關鍵在於不斷發展研發能力。智能體應該像人類專家一樣學習,不斷提升研發技能。
更多文件可以在?閱讀文檔。
邁向以資料為中心的自動化研發
@misc{chen2024datacentric,title={邁向以資料為中心的自動化研發},author={陳浩天、沈新傑、葉澤奇、馮文軍、王浩學、楊曉、楊旭、劉偉清、邊江},year={ 2024 },eprint={2404.11276},archivePrefix={arXiv},primaryClass={cs.AI}}
在資料探勘專家的日常研發過程中,他們提出假設(例如,像RNN這樣的模型結構可以捕捉時間序列資料中的模式),設計實驗(例如,金融資料包含時間序列,我們可以驗證假設)在這種情況下),將實驗實作為程式碼(例如,Pytorch模型結構),然後執行程式碼以獲得回饋(例如,指標、損失曲線等)。專家們從回饋中學習並在下一次迭代中進行改進。
基於上述原則,我們建立了一個基本的方法框架,不斷提出假設,驗證假設,並從現實世界的實踐中獲得回饋。這是第一個支援與現實世界驗證連結的科學研究自動化框架。
欲了解更多詳情,請參閱我們的?️ 現場演示頁面。
以資料為中心的自動開發的協同演進策略
@misc{yang2024collaborative,title={以資料為中心的自動開發的協作演進策略},author={Xu Yang、Haotian Chen、Wenjun Feng、Haoxue Wang、Zeqi Ye、Xinjie Shen、Xiao Yang、Shizhao Sun、Weiqing Liuo Sun、Weiqing Liu和Jiang Bian},year={2024},eprint={2407.18690},archivePrefix={arXiv},primaryClass={cs.AI}}
該項目歡迎貢獻和建議。為這個項目做出貢獻是簡單且有益的。無論是解決問題、解決錯誤、增強文檔,甚至糾正拼字錯誤,每項貢獻都是有價值的,並有助於改進 RDAgent。
首先,您可以瀏覽問題列表,或透過執行命令grep -r "TODO:"
在程式碼庫中搜尋TODO:
註解。
在我們在 GitHub 上將 RD-Agent 作為開源專案發布之前,它是我們小組內的內部專案。不幸的是,當我們刪除一些機密代碼時,內部提交歷史記錄沒有保留。因此,我們小組成員的一些貢獻,包括Haotian Chen、Wenjun Feng、Haoxue Wang、Zeqi Ye、Xinjie Shen和Jinhui Li,沒有包含在公共提交中。
RD 代理「按原樣」提供,不提供任何明示或暗示的保證,包括但不限於適銷性、特定用途的適用性和不侵權的保證。 RD 代理旨在促進金融業的研究和開發過程,但不適合用於任何財務投資或建議。使用者應獨立評估和測試RD-Agent在特定使用情境下的風險,確保負責任地使用AI技術,包括但不限於制定和整合風險緩解措施,並遵守所有適用的法律法規。 RD 代理人不提供財務意見或反映 Microsoft 的意見,也不旨在取代合格的財務專業人員在製定、評估和批准金融產品方面的作用。 RD 代理的輸入和輸出屬於用戶,用戶應承擔任何責任理論下的所有責任,無論是合約、侵權、監管、疏忽、產品責任或其他與 RD 代理的使用相關的責任,以及其任何輸入和輸出。