中国の学者らは、SelfExtended (SE) と呼ばれる新しい大規模モデル ウィンドウ拡張手法を提案しました。これは、わずか 4 行のコードで大規模モデルのウィンドウ長を 3 倍にできるものです。この画期的なテクノロジーは、さまざまな大型モデルと互換性のある「プラグ アンド プレイ」であり、Mistral および Llama2 モデルで実証されています。 SE メソッドにより、長いテキストのタスクを処理する大規模モデルのパフォーマンスが大幅に向上し、長いテキストを処理するときに大規模モデルが直面するコーディングの制限超過の問題が効果的に解決されます。これにより、大規模なモデルが複雑な長いテキストのタスクを処理するための新しい方向性と可能性が提供されます。
中国の学者らは、わずか 4 行のコードで大規模モデルのウィンドウ長を 3 倍にできる、新しい大規模モデル ウィンドウ拡張メソッド SelfExtended (略して SE) をリリースしました。 SE は、あらゆる大規模モデルに適応できる「プラグ アンド プレイ」方式であり、Mistral と Llama2 でのテストに成功しています。 SE 処理を使用すると、長いテキスト タスクにおけるモデルのパフォーマンスが大幅に向上します。 SE は 2 つのアテンション メカニズムを使用して、長いテキストを処理するときに大規模なモデルで発生するコーディングの超過問題を解決します。
SelfExtended (SE) メソッドの登場により、大規模モデルにおける長いテキスト処理の問題に対するシンプルかつ効率的な解決策が提供され、その「プラグ アンド プレイ」機能により、さまざまな大規模モデルへの適用が容易になり、その強力な実用性が実証されました。そして幅広い応用の可能性。今後、SE手法のさらなる改良と完成により、大型モデル技術の開発にさらなる可能性がもたらされるでしょう。