reevoダウンロードreevoソースコードのダウンロード

reevo

その他のソースコード

ダウンロード

[Neurips2024] Reevo：反射的進化を備えたハイパーフルーリスティックとしての大規模な言語モデル

？いらっしゃいませ！これは、論文Reevo：反射的進化を備えたハイパーリフルフスとしての大規模な言語モデルに伴うコードベースです。

Reevoに5分間与え、見返りに最先端のアルゴリズムを取得してください！

1。ニュース？

2024年9月： Reevo：反射的進化を伴う超病理としての大規模な言語モデルは、 Neurips 2024で受け入れられていますか？
2024年5月：新しい紙版をリリースします
2024年4月：神経組み合わせ最適化（NCO）および電子設計自動化（EDA）の新しいユースケース
2024年2月：Reevo： Refferive Evolutionを備えたハイパーホールヒューリスティックとしてのReevo：大規模な言語モデルをリリースできることに興奮しています

2。はじめに

Reevoの図

私たちは、最小限の手動介入と自由回答形式のヒューリスティックスペースを特徴とする、ヒューリスティック生成にLLMを活用する、超病理学（HHS）の新興バリアントである言語超性率（LHHS）を導入します。

LHHSに力を与えるために、スケーラブルなLLM推論、インターネットスケールのドメイン知識、強力な進化検索で人間の能力を非常に上回りながら、人間の専門家の反射設計アプローチをエミュレートする一般的な検索フレームワークである反射的進化（REEVO）を提示します。

3.エキサイティングなハイライト？

次のタイプのアルゴリズムを改善できます。

神経組み合わせ最適化（NCO）
遺伝的アルゴリズム（GA）
アリコロニー最適化（ACO）
ガイド付きローカル検索（GLS）
建設的なヒューリスティック

次の問題について：

旅行セールスマンの問題（TSP）
容量化された車両ルーティングの問題（CVRP）
オリエンテーリングの問題（OP）
複数のナップサックの問題（MKP）
ビンパッキングの問題（BPP）
Decap Placementの問題（DPP）

ブラックボックスとホワイトボックスの両方の設定。

4。使用法？

LLM APIキー（Openai API、Zhipu API、Llama API）をここまたは環境変数として設定します。
実行されたログと中間結果は、デフォルトで./outputs/main/に保存されます。
データセットはその場で生成されます。
いくつかのテストノートブックは、 ./problems/*/test.ipynbに提供されています。

4.1。依存

python> = 3.11
Openai> = 1.0.0
Hydra-Core
scipy

pip install -r requirements.txtを介して上記の依存関係をインストールできます。txt。

問題固有の依存関係：

tsp_aco(_black_box) ：pytorch、scikit-learn
cvrp_aco(_black_box) / mkp_aco(_black_box) / op_aco(_black_box) / NCO ：pytorch
tsp_gls ：numba == 0.58

4.2。 Reevoを実行します

 # e.g., for tsp_aco
python main.py 
    problem=tsp_aco   # problem name
    init_pop_size=4   # initial population size
    pop_size=4   # population size
    max_fe=20   # maximum number of heuristic evaluations
    timeout=20  # allowed evaluation time for one generation

その他のオプションについては、 ./cfg/をご覧ください。

4.3。利用可能な問題

旅行セールスマンの問題（TSP）： tsp_aco 、 tsp_aco_black_box 、 tsp_constructive 、 tsp_gls 、 tsp_pomo 、 tsp_lehd
容認された車両ルーティングの問題（CVRP）： cvrp_aco 、 cvrp_aco_black_box 、 cvrp_pomo 、 cvrp_lehd
ビンパッキング問題（BPP）： bpp_offline_aco 、 bpp_offline_aco_black_box 、 bpp_online
複数のナップサック問題（MKP）： mkp_aco 、 mkp_aco_black_box
Orienteering Problem（OP）： op_aco 、 op_aco_black_box
Decap Placement Problem（DPP）： dpp_ga

4.4。 Reevoを問題に適用する簡単な手順

./cfg/problem/で問題を定義します。
問題インスタンスを生成し、 ./problems/に評価パイプラインを実装します。
function_description、function_signature、およびseed_functionを./prompts/に追加します。

デフォルト：

LLMに生成されたヒューリスティックはf"./problems/YOUR_PROBLEM/gpt.py"に書かれており、 ./problems/YOUR_PROBLEM/eval.py reevo._run_code /eval.py（tsp_acoの場合）にインポートされます。。
トレーニングモードでは、 ./problems/YOUR_PROBLEM/eval.py your_problem/eval.py（たとえば、tsp_acoの場合）は、 reevo.evaluate_populationによって解析されたstdoutの最後の行としてメタ指示値を印刷する必要があります。

4.5。代替LLMSを使用します

CLIパラメーターllm_clientを使用してLLM APIプロバイダーを指定し、 llm_client.modelを指定して使用するモデルを決定します。例えば、

$ export LLAMA_API_KEY=xxxxxxxxxxxxxxxxxxxx
$ python main.py llm_client=llama_api llm_client.model=gemma2-9b

サポートされているLLM APIプロバイダーとモデルには（チャットモデルのみがサポートされていることに注意してください）：

Openai ：GPT-3.5-TURBO（デフォルト）、GPT-4O、GPT-4O-MINI、GPT-4-TURBOなど。
Zhipu AI ：GLM-3-TURBO、GLM-4-AIR、GLM-4-0520など（フルリスト）
Deepseek ：Deepseek-chat
llama api ：llama3.1-8b/70b/405b、gemma2-9b/27b、qwen2-72bなど（フルリスト）
Litellmを介してサポートされているプロバイダーが増えました。

5。引用？

コードを使用するのに苦労した場合は、お気軽に問題を提出するか、直接お問い合わせください！

また、ご質問がある場合も、Reevoについて話し合いたい場合も、Slackを使用しています。私たちはコラボレーションを受け入れており、あなたから聞いてみたいです

あなたが私たちの作品が役立つと思うなら（またはあなたが私たちに励ましを提供するほど親切であれば）、私たちにスターを与えて、私たちの論文を引用してください。

 @inproceedings { ye2024reevo ,
    title = { ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution } , 
    author = { Haoran Ye and Jiarui Wang and Zhiguang Cao and Federico Berto and Chuanbo Hua and Haeyeon Kim and Jinkyoo Park and Guojie Song } ,
    booktitle = { Advances in Neural Information Processing Systems } ,
    year = { 2024 } ,
    note = { url{https://github.com/ai4co/reevo} }
}