Microsoftは最近、PHI-4と呼ばれる小さな言語モデルを発売しましたが、そのパラメーターはわずか140億個ですQWEN2.5やLlama-3.1などのオープンソースモデルとして。この画期的な達成は、言語処理の分野におけるPHI-4の強い可能性を示しています。
American Mathematics Competition AMCのテストでは、PHI-4は91.8のスコアで際立っており、Gemini Pro1.5やClaude3.5Sonnetなどの競合他社よりも大幅に優れていました。さらに、MMLUテストでは、PHI-4は84.8の高いスコアを達成し、推論と数学処理における優れた能力を完全に実証しました。これらの成果は印象的であるだけでなく、PHI-4が将来のアプリケーションで使用される強固な基盤を築きます。
有機データソースに依存する多くのモデルとは異なり、PHI-4は、マルチエージェントプロンプト、命令の逆転、自己修正などの革新的な合成データ生成方法を採用しています。これらのアプローチは、複雑なタスクでのPHI-4のパフォーマンスを大幅に向上させ、推論と問題解決に対処する上でより効率的かつ正確にします。このユニークなデータ生成戦略は、PHI-4の成功に対する重要なサポートを提供します。
PHI-4は、デコーダーのみの変圧器アーキテクチャを採用しており、コンテキストの長さを最大16Kでサポートしているため、大規模な入力データの処理に最適です。トレーニング前のプロセス中に、PHI-4は約10兆トークンを使用して、合成データと厳密にスクリーニングされた有機データを組み合わせて、MMLUやヒューマヌバルなどのベンチマークテストで優れたパフォーマンスを確保しました。この効率的なアーキテクチャとデータ戦略は、同様のモデルとは別にPHI-4を設定します。
PHI-4の特徴と利点には、コンパクト性と効率が含まれており、PHI-4の推論機能は以前の世代を超えています世代および大規模なモデル。特定のフィールドのニーズを満たすために、多様な合成データセットで微調整をサポートします。また、開発者は、FACEプラットフォームの詳細なドキュメントとAPIを介してPHI-4を簡単に統合して、アプリケーションシナリオをさらに拡大することもできます。
技術革新の観点から、PHI-4の開発は、主に3つの柱に依存しています：合成データを生成するためのマルチエージェントと自己修正技術、拒絶サンプリングや直接選好最適化（DPO）などのトレーニング後の強化方法、および厳密にフィルタリングされたトレーニングデータ。さらに、PHI-4はキーマーカー検索（PTS）を使用して、意思決定プロセスで重要なノードを特定し、複雑な推論タスクを処理する能力を最適化します。これらの技術革新は、PHI-4の成功のための強固な技術的基盤を提供します。
PHI-4のオープンソースにより、開発者の期待がついに実現しました。このモデルは、ハグするフェイスプラットフォームでダウンロードできるだけでなく、MITライセンスの下での商用使用もサポートしています。このオープンポリシーは、多数の開発者とAI愛好家の注目を集めており、Faceの公式ソーシャルメディアも祝福し、「歴史上最高の14Bモデル」と呼んでいます。 PHI-4のオープンソースは、開発者に強力なツールを提供するだけでなく、AI分野のイノベーションに新しい活力を注入します。
モデルの入り口：https：//huggingface.co/microsoft/phi-4
キーポイント：
** Microsoftは、わずか140億のパラメーターで小さなパラメーターモデルPHI-4を起動しましたが、多くのよく知られているモデルを上回りました。 **
** PHI-4は、特に数学と推論で複数のパフォーマンステストでうまく機能しました。 **
PHI-4は現在、オープンソースであり、商業用途をサポートしており、多くの開発者の注意と使用を引き付けています。