GPT-4OモデルのOpenAIの最新の「予測出力」関数は、元の速度の最大5倍のモデルの応答速度を大幅に改善しました。この機能は、Factoryaiと協力して開発され、特にコードの再構成やブログの更新などのシナリオで、予見可能なコンテンツを特定して再利用することにより、重複生成を効果的に回避します。この機能は現在、APIを介してのみ開き、GPT-4OおよびGPT-4miniモデルをサポートしています。
Openaiは最近、GPT-4Oモデルに「予測出力」関数を導入するための重要な更新を開始しました。この革新的な技術により、モデルの応答速度が大幅に向上し、特定のシナリオで元の速度の最大5倍に達し、開発者に新しい効率エクスペリエンスをもたらしました。
OpenaiとFactoryaiが共同で開発したこの機能の中心的な利点は、既知のコンテンツの繰り返し生成プロセスをバイパスできることです。実際のアプリケーションでは、ブログ投稿の更新、既存の返信の反復、コードの書き換えなどのタスクでうまく機能します。 Factoryaiが提供するデータによると、プログラミングタスクでは、応答時間が2〜4回短縮され、元々70秒かかったタスクが20秒以内に完了するように圧縮されました。
現在、この関数はAPIフォームを介して開発者にのみ開かれており、GPT-4OおよびGPT-4MINIモデルをサポートしています。使用に関する実際のフィードバックはプラスであり、多くの開発者がテストを開始し、経験を共有しています。 Firecrawlの創設者であるEric Ciarlaは、SEOコンテンツを変換する際に、「速度は重要であり、使用は単純で簡単です」と述べました。
技術的には、予測出力関数は、予測可能なコンテンツパーツを識別および再利用することにより機能します。 Openaiの公式ドキュメントは、コード再構成などのシナリオで、C＃コードの「ユーザー名」属性が「電子メール」に変更されている場合、クラスファイル全体を予測テキストとして入力できます。
ただし、この機能にはいくつかの使用制限と予防策があります。モデルでサポートされている制限に加えて、1、logprobs、およびfesencion_penaltyおよびfeurce_penaltyが0を超えるn値を含む予測出力を使用する場合、一部のAPIパラメーターは使用できません。
より速い応答を提供する一方で、この機能はわずかなコストの増加ももたらすことに注意する価値があります。ユーザーのテストデータによると、同じタスクにより、予測出力関数を使用してから処理時間が5.2秒に3.3秒に短縮されましたが、コストは0.1555セントから0.2675セントに増加しました。これは、Openaiが予測の非ファイナル完了した部分のトークンレートを請求するためです。
コストがわずかに増加しているにもかかわらず、この機能には、効率が大幅に向上することを考えると、まだかなりのアプリケーション値があります。開発者は、公式のOpenAIドキュメントを通じて、より詳細な技術的指示と使用ガイドを取得できます。
Openai公式ドキュメント：
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
要するに、Openaiの「予測出力」関数は、開発者に大幅な効率の改善をもたらしましたが、それがもたらす速度の利点はまだ注意を払う価値があります。 開発者は、実際のニーズに基づいて長所と短所を比較検討し、この新しい機能を使用するかどうかを選択できます。