Kunlun Wanwei Yan Shuicheng のチームは、シンガポールの南洋理工大学と協力して、小さな言語モデルの推論能力を大幅に向上させることを目的とした Q* と呼ばれる画期的なプロジェクトをリリースしました。市場にある他の大規模な言語モデルとは異なり、Q* は小規模なモデルのパフォーマンスを向上させることに重点を置いており、その推論機能が数十倍、さらには数百倍も大きいパラメーターを持つモデルと同等になります。この研究結果は、実用化における小型モデルの限界を変え、人工知能分野に新たな開発の機会をもたらすことが期待されます。 Q* は革新的なアルゴリズムにより、小規模モデルの推論能力を大幅に向上させ、複数のベンチマーク テストで大規模モデルを上回る優れた結果を達成しました。
最近、国内の崑崙万偉厳水成チームとシンガポールの南洋理工大学の研究チームは、小型モデルの推論能力の向上を目的としたQ*と呼ばれるプロジェクトを発表した。このプロジェクトは OpenAI とは異なりますが、小規模なモデルでも、それよりも数十倍、さらには数百倍も大きいパラメーターを持つモデルの推論機能を実現できます。
研究チームは、Q* アルゴリズムの実験パフォーマンスを通じて顕著な結果を達成しました。GSM8K データセットでは、Q* により Llama-2-7b の精度が 80.8% 向上し、ChatGPT を上回りました。
MATH データセットでは、Q* のおかげで DeepSeek-Math-7b の精度が 55.4% に向上し、Gemini Ultra を上回りました。
MBPP データセットでは、Q * により CodeQwen1.5-7b-Chat の精度が 77.0% に向上し、GPT-4 とのプログラミング レベルのギャップが狭まりました。これらの結果は、小規模モデルの推論能力を向上させる Q* アルゴリズムの可能性を示しています。
Q* アルゴリズムの動作原理は、大規模な言語モデルの推論軌跡をいくつかの状態に分解し、各状態の全体的な計画を実行し、A* 検索アルゴリズムを使用して複雑な推論タスクの優先検索を実現することです。同時に、状態と行動のペアの最適な Q 値を取得するために、教師あり学習を通じてエージェントの Q 値モデルをトレーニングし、それによってモデルのパフォーマンスを向上させました。
ハイライト:
Q* プロジェクトは OpenAI によってリリースされたものではありません。研究チームのアルゴリズムにより、小規模モデルの推論能力が大幅に向上しました。
このプロジェクトは、複数のデータセットで顕著な実験結果を達成し、Q* アルゴリズムの可能性と有効性を実証しました。
論文リンク: https://arxiv.org/abs/2406.14283
Q* プロジェクトの研究結果は、小型モデルの開発に新たな方向性を与えるものであり、その効率的なアルゴリズムと大幅な改善効果は注目に値します。将来的には、このアルゴリズムはより多くの分野で応用され、人工知能技術の進歩を促進することが期待されています。興味のある読者が詳細を知るために、論文へのリンクが提供されています。