今年7月末、第2回中国コンピュータ連盟（CCF）チップカンファレンスが上海で開催された。コンピュータとマイクロエレクトロニクスの分野でチップ関連の研究と技術開発に従事する約2000人の国内外の専門家、学者、研究者、企業代表者がこの会議に出席し、チップ設計とEDA、新しいシステムアーキテクチャ、フォールトトレラントコンピューティング、新興コンピュータ工学と理論的革新、技術の研究開発、アプリケーションのデモンストレーション、技術およびその他の側面における産業開発のトピック。
このチップカンファレンスのアーキテクチャ委員会が主催した「CCFTCarch Custom Computing Challenge」（消費者グレードのグラフィックスカード向けLLM展開アクセラレーション）で、西南交通大学のFeng Li教授率いる研究チームは、エッジ推論の最適化における卓越性を信頼して、大型モデルでも優れた性能を発揮し、国内2位を獲得しました。
このコンペティションで、Feng Li のチームは、オペレーター フュージョン テクノロジーを含む、大規模モデルにおけるエッジ推論が直面する課題に対処するための一連の革新的なテクノロジーを採用しました。このテクノロジーは、ビデオ メモリの頻繁な読み取りと書き込みを軽減し、複数の独立したコンピューティング操作を結合することでコンピューティング効率を大幅に向上させます。
Feng Li 氏によると、演算子の融合により、チームは計算時間を 80% 以上短縮することに成功し、コンピューティング リソースの利用効率が大幅に向上しました。さらに、チームは高精度量子化テクノロジーを実装して、一部の計算を浮動小数点演算から固定小数点演算に変換しました。これにより精度はある程度低下しますが、それでも計算速度の大幅な向上とエネルギー消費の削減が実現します。
馮李氏は、この大会の成功はチームメンバー間の緊密な協力から切り離せないと強調した。参加した学生たちは大型模型の分野での経験が不足していましたが、並外れた学習能力と探索する勇気を示しました。国際トップの学者との協力、特にブリストル大学との国境を越えた交流を通じて、学生たちは視野を広げただけでなく、貴重な経験を積みました。 Feng Li氏は、「私たちの学生は非常に若いですが、彼らは熱意に満ちており、困難に立ち向かう勇気を持っています。彼らは、広範な文献の読書や技術セミナーを通じて、関連分野の最新の発展をすぐに把握し、理論的な知識を実践的な結果に変えました。」と述べました。 」
Feng Li氏は、将来の開発の方向性について、大型モデル技術の進歩、特にプライバシー保護と民営化された展開に対する需要の高まりに伴い、チームの研究結果には幅広い応用の見通しがあると述べた。たとえば、金融、運輸、航空などの分野では、機密データの多くは処理のためにクラウドに送信するのには適しておらず、ローカルで分析されるため、効率的な大規模モデルのエッジ推論テクノロジーが必要です。 Feng Li氏は、同チームが現在多くの企業や研究機関と積極的に協力しており、研究結果をネットワークセキュリティ脆弱性分析やトラフィックビッグデータ処理に応用し、科学研究成果の商業化を促進することに尽力していることを明らかにした。