ライブデモ |デモビデオ
| ニュース | 説明 |
|---|---|
| Kaggle シナリオのリリース | Kaggle Agent をリリースしました。新機能をお試しください。 |
| WeChatグループの公式リリース | WeChat グループを作成しました。ぜひご参加ください。 (?QRコード) |
| Discordの公式リリース | Discord で最初のチャット チャンネルを立ち上げます (?) |
| 最初のリリース | RDAgent がGitHub でリリースされました |
RDAgent は、産業 R&D プロセスの最も重要かつ価値のある側面を自動化することを目的としており、モデルとデータの開発を合理化するためにデータ駆動型のシナリオに焦点を当てることから始めます。方法論的に、私たちは 2 つの主要なコンポーネントを持つフレームワークを特定しました。新しいアイデアを提案するための「R」と、それらを実装するための「D」です。私たちは、研究開発の自動的な進化が、重要な産業価値のあるソリューションにつながると信じています。
研究開発は非常に一般的なシナリオです。 RDAgent の出現により、
自動定量工場(?デモビデオ|
YouTube）
データ マイニング エージェント:データとモデルを反復的に提案します (?デモ ビデオ 1|
YouTube) (?デモビデオ 2|
YouTube) を参照し、データから知識を得て実装します。
Research Copilot:研究論文の自動読み取り (?デモビデオ|
YouTube) / 財務報告書 (?デモビデオ|
YouTube) を参照して、モデル構造または構築データセットを実装します。
Kaggle エージェント:自動モデルのチューニングと機能エンジニアリング (? デモビデオは近日公開予定...) とそれらを実装して、コンテストでより多くの成果を達成します。
...
上のリンクをクリックしてデモを表示できます。私たちは、研究開発プロセスを強化し、生産性を向上させるために、プロジェクトにメソッドとシナリオを継続的に追加しています。
さらに、 ?️ ライブデモで例を詳しく見ることができます。
次のコマンドを実行して、上記のデモを試すことができます。
ユーザーは、ほとんどのシナリオを試行する前に、Docker がインストールされていることを確認する必要があります。インストール手順については、公式の ?Docker ページを参照してください。
Python を使用して新しい conda 環境を作成します (3.10 と 3.11 は CI で十分にテストされています)。
conda create -n rdagent python=3.10
環境をアクティブ化します。
conda は rdagent をアクティブ化します
PyPI から RDAgent パッケージを直接インストールできます。
pip インストール rdagent
GPT モデルを.envで設定する必要があります。
cat << EOF > .envOPENAI_API_KEY=# EMBEDDING_MODEL=text-embedding-3-smallCHAT_MODEL=gpt-4-turboEOF
?️ ライブ デモは次のコマンドによって実装されます (各項目は 1 つのデモを表しており、好みのものを選択できます)。
自動定量取引と反復ファクターの進化: Qlib セルフループ ファクターの提案と実装アプリケーションを実行する
rdagent fin_factor
自動定量取引と反復モデルの進化: Qlib セルフループ モデルの提案と実装アプリケーションを実行する
rdagent fin_model
自動医療予測モデル進化の実行: 医療セルフループ モデルの提案と実装アプリケーション
(1) PhysioNet にアカウントを申請します。
(2) FIDDLE 前処理データへのアクセスを要求します: FIDDLE データセット。
(3) ユーザー名とパスワードを.envに配置します。
cat << EOF >> .envDM_USERNAME=<あなたのユーザー名>DM_PASSWORD=<あなたのパスワード>EOF
rdagent med_model
自動定量取引と財務レポートからのファクター抽出を実行する: 財務レポートに基づいて Qlib ファクター抽出および実装アプリケーションを実行します。
# 1. 通常、このシナリオは次のコマンドを使用して実行できます:rdagent fin_factor_report --report_folder=<財務レポートのフォルダー パス># 2. 具体的には、最初にいくつかの財務レポートを準備する必要があります。次の具体的な例に従うことができます:wget https://github.com/SunsetWolf/rdagent_resource/releases/download/reports/all_reports.zip unzip all_reports.zip -d git_ignore_folder/reports rdagent fin_factor_report --report_folder=git_ignore_folder/reports
自動モデル研究開発コパイロットの実行: モデル抽出および実装アプリケーション
# 1. 一般に、次のコマンドを使用して独自の論文/レポートを実行できます:rdagent general_model# 2. 具体的には、次のように実行できます。詳細と追加の紙の例については、「rdagent general_model -h」:rdagent general_model "https://arxiv.org/pdf/2210.09789" を使用してください。
自動化された Kaggle モデルのチューニングと特徴エンジニアリングの実行: 自己ループ モデルの提案と特徴エンジニアリングの実装アプリケーション
注意: このアプリケーションは、ローカルでデータを準備しない限り、Kaggle コンペティション データを自動的にダウンロードします。ローカルにデータがない場合は、Kaggle API を設定し、Kaggle Web サイト上の対応する競争ルールに同意する必要があります。
# 1. コンペティション名は、Kaggle プラットフォームの API で使用される名前と一致する必要があります。rdagent kaggle --competition [your-competition-name]# 2. 具体的には、次のようにコンペティション名を入力できます:# コンペティションをダウンロードします。説明ファイルをローカル ディレクトリにコピーしますwget https://github.com/SunsetWolf/rdagent_resource/releases/download/kaggle_data/kaggle_data.zip# ファイルを解凍して、ローカル ディレクトリunzip kaggle_data.zip -d /your/local/directory/kaggle_data# set 環境変数sexport LOCAL_DATA_PATH=/your/local/directory/kaggle_data/kaggle # applicationrdagent を実行します kaggle --competition sf-crime
利用可能なコンテストのリストはここでご覧いただけます。
詳細については、サンプル ガイドを参照してください。
次のコマンドを実行して、デモ アプリを提供して RD ループを監視できます。
rdagent ui --port 80 --log_dir <「log/」のようなログ フォルダー">
私たちは RD-Agent を複数の貴重なデータ駆動型産業シナリオに適用してきました。
このプロジェクトでは、データ駆動型の研究開発を自動化するエージェントを構築することを目指しています。
現実世界の資料 (レポート、論文など) を読んで、データ駆動型 R&D の主要なコンポーネントである重要な式、興味のある機能やモデルの説明を抽出します。
抽出された式 (特徴、因子、モデルなど) を実行可能なコードに実装します。
一度に実装できる LLM の能力には限界があるため、エージェントがフィードバックと知識から学習してパフォーマンスを向上させるための進化するプロセスを構築します。
現在の知識と観察に基づいて新しいアイデアを提案します。
データ駆動型シナリオの 2 つの主要な領域であるモデルの実装とデータ構築において、当社のシステムは、「コパイロット」と「エージェント」という 2 つの主要な役割を果たすことを目指しています。
?副操縦士は人間の指示に従い、反復的なタスクを自動化します。
?エージェントはより自律的になり、将来的により良い結果が得られるよう積極的にアイデアを提案します。
サポートされているシナリオは以下のとおりです。
| シナリオ/ターゲット | モデルの実装 | データ構築 |
|---|---|---|
| ファイナンス | アイデアを繰り返し提案し、進化させる | アイデアを繰り返し提案し、進化させる 自動レポートの読み取りと実装 |
| 医学 | アイデアを繰り返し提案し、進化させる | - |
| 一般的な | 自動用紙読み取りと実装 Kaggle モデルの自動チューニング | 自動 Kaggle 機能エンジニアリング |
ロードマップ: 現在、Kaggle シナリオに新機能を追加するために熱心に取り組んでいます。
シナリオが異なれば、入り口と構成も異なります。シナリオドキュメントの詳細なセットアップチュートリアルを確認してください。
これは、成功した探査のギャラリーです (5 つのトレースが?️ ライブデモで表示されました)。以下のコマンドを使用して、実行トレースをダウンロードして表示できます。
rdagent ui --port 80 --log_dir ./demo_traces
シナリオの詳細については、 ?readthedocs_scenを参照してください。
データ サイエンスにおける研究開発プロセスの自動化は、業界では非常に価値があるものの、まだ開拓されていない分野です。私たちは、この重要な研究分野の限界を押し広げるフレームワークを提案します。
この枠組み内の研究課題は、次の 3 つの主なカテゴリに分類できます。
| 研究分野 | 論文・作品リスト |
|---|---|
| 研究開発能力をベンチマークする | ベンチマーク |
| アイデアの提案:新しいアイデアを検討するか、既存のアイデアを改良します。 | 研究 |
| アイデア実現力：アイデアを実現・実行する | 発達 |
私たちは、高品質のソリューションを提供するための鍵は、研究開発能力を進化させる能力にあると信じています。エージェントは人間の専門家のように学習し、研究開発スキルを継続的に向上させる必要があります。
さらに多くのドキュメントは、? にあります。ドキュメントを読んでください。
データ中心の自動研究開発に向けて
@misc{chen2024datacentric,title={データ中心の自動研究開発に向けて},author={Haotian Chen、Xinjie Shen、Zeqi Ye、Wenjun Feng、Haoxue Wang、Xiao Yang、Xu Yang、Weiqing Liu、Jiang Bian}、年 = {2024}、eprint = {2404.11276}、archivePrefix = {arXiv}、primaryClass = {cs.AI}} 
データ マイニングの専門家の日々の研究開発プロセスでは、仮説 (例: RNN のようなモデル構造は時系列データのパターンを捕捉できる) を提案し、実験を計画します (例: 財務データには時系列が含まれており、仮説を検証できます)このシナリオでは)、実験をコード (例: Pytorch モデル構造) として実装し、コードを実行してフィードバック (例: メトリクス、損失曲線など) を取得します。専門家はフィードバックから学び、次の反復で改善します。
上記の原則に基づいて、継続的に仮説を提案し、検証し、現実の実践からフィードバックを得るという基本的な手法フレームワークを確立しました。これは、現実世界の検証とのリンクをサポートする初の科学研究自動化フレームワークです。
詳細については、 「?️ ライブデモ」ページを参照してください。
データ中心の自動開発のための共同進化戦略
@misc{yang2024collaborative,title={自動データ中心開発のための共同進化戦略},author={Xu Yang、Haotian Chen、Wenjun Feng、Haoxue Wang、Zeqi Ye、Xinjie Shen、Xiao Yang、Shizhao Sun、Weiqing Liu、Jiang Bian}、年 = {2024}、eprint = {2407.18690}、archivePrefix = {arXiv}、primaryClass = {cs.AI}} 
このプロジェクトは貢献と提案を歓迎します。このプロジェクトへの貢献は簡単でやりがいがあります。問題の解決、バグへの対処、ドキュメントの強化、さらにはタイプミスの修正など、あらゆる貢献は貴重であり、RDAgent の改善に役立ちます。
まず、問題リストを調べるか、コマンドgrep -r "TODO:"を実行してコードベース内のTODO:コメントを検索します。
RD-Agent を GitHub でオープンソース プロジェクトとしてリリースする前は、それはグループ内の内部プロジェクトでした。残念ながら、一部の機密コードを削除した際に、内部コミット履歴は保存されませんでした。その結果、Haotian Chen、Wenjun Feng、Haoxue Wang、Zeqi Ye、Xinjie Shen、Jinhui Li などのグループ メンバーからの一部の貢献は、パブリック コミットには含まれませんでした。
RD エージェントは「現状のまま」提供され、商品性、特定目的への適合性、非侵害性の保証を含むがこれらに限定されない、明示的か黙示的かを問わず、いかなる種類の保証もありません。 RD エージェントは、金融業界における研究開発プロセスを促進することを目的としており、金融投資やアドバイスにすぐに使用できるものではありません。ユーザーは、特定の使用シナリオにおける RD エージェントのリスクを独自に評価およびテストし、リスク軽減策の開発および統合を含むがこれに限定されない AI テクノロジーの責任ある使用を確保し、適用されるすべての分野で適用されるすべての法律および規制を遵守するものとします。管轄区域。 RD エージェントは財務に関する意見を提供したり、Microsoft の意見を反映したりするものではなく、金融商品の策定、評価、承認における資格のある金融専門家の役割に代わるものでもありません。 RD エージェントの入力と出力はユーザーに属し、ユーザーは、契約、不法行為、規制、過失、製造物責任、またはその他の責任理論に基づいて、RD エージェントの使用に関連するすべての責任を負うものとします。その入力と出力。
