Fungsi "output prediktif" terbaru Openai dari model GPT-4O telah sangat meningkatkan kecepatan respons model, hingga 5 kali kecepatan asli. Fungsi ini dikembangkan bekerja sama dengan Factoryai secara efektif menghindari generasi duplikat dengan mengidentifikasi dan menggunakan kembali konten yang dapat diperkirakan, terutama dalam skenario seperti rekonstruksi kode dan pembaruan blog. Fitur ini saat ini hanya terbuka melalui API, mendukung model GPT-4O dan GPT-4MIN.
OpenAI baru-baru ini meluncurkan pembaruan penting untuk memperkenalkan fungsi "output yang diprediksi" ke model GPT-4O. Teknologi inovatif ini secara signifikan meningkatkan kecepatan respons model, mencapai hingga 5 kali kecepatan asli dalam skenario tertentu, membawa pengembang pengalaman efisiensi baru.
Keuntungan inti dari fitur ini, yang dikembangkan bersama oleh OpenAi dan Factoryai, adalah bahwa ia dapat memotong proses pembuatan konten yang diketahui. Dalam aplikasi praktis, ia berkinerja baik dalam tugas -tugas seperti memperbarui posting blog, mengulangi balasan yang ada, atau kode penulisan ulang. Menurut data yang disediakan oleh Factoryai, dalam tugas pemrograman, waktu respons dikurangi 2 hingga 4 kali, dan tugas yang awalnya memakan waktu 70 detik dikompresi untuk diselesaikan dalam waktu 20 detik.
Saat ini, fungsi ini hanya terbuka untuk pengembang melalui bentuk API, dan mendukung model GPT-4O dan GPT-4MIN. Umpan balik aktual tentang penggunaan adalah positif, dan banyak pengembang telah meluncurkan tes dan berbagi pengalaman mereka. Pendiri Firecrawl Eric Ciarla mengatakan ketika mengonversi konten SEO: "Kecepatannya signifikan dan penggunaannya sederhana dan mudah."
Secara teknis, fungsi output prediktif berfungsi dengan mengidentifikasi dan menggunakan kembali bagian konten yang dapat diprediksi. Dokumen resmi OpenAI memberikan contoh. Dalam skenario seperti rekonstruksi kode, jika atribut "nama pengguna" dalam kode C# dimodifikasi menjadi "email", seluruh file kelas dapat menjadi input sebagai teks prediktif, yang dapat sangat meningkatkan kecepatan generasi.
Namun, ada beberapa batasan penggunaan dan tindakan pencegahan untuk fitur ini. Selain batasan yang didukung oleh model, beberapa parameter API tidak tersedia saat menggunakan output yang diprediksi, termasuk nilai n lebih besar dari 1, logProbs, dan kehadiran_penalty dan frekuensi_penalty lebih besar dari 0.
Perlu dicatat bahwa sambil memberikan respons yang lebih cepat, fitur ini juga membawa sedikit kenaikan biaya. Menurut data uji pengguna, tugas yang sama telah mengurangi waktu pemrosesan dari 5,2 detik menjadi 3,3 detik setelah menggunakan fungsi output yang diprediksi, tetapi biaya telah meningkat dari 0,1555 sen menjadi 0,2675 sen. Ini karena OpenAI juga membebankan tarif token untuk bagian prediksi yang diselesaikan non-final.
Meskipun sedikit peningkatan biaya, fitur ini masih memiliki nilai aplikasi yang cukup mengingat peningkatan efisiensi yang signifikan. Pengembang dapat memperoleh instruksi teknis yang lebih rinci dan panduan penggunaan melalui dokumentasi OpenAI resmi.
Dokumentasi Resmi Openai:
https://platform.openai.com/docs/guides/lateency-optimization#use-predicted-outputs
Singkatnya, fungsi "output prediksi" Openai telah membawa peningkatan efisiensi yang signifikan bagi pengembang. Pengembang dapat menimbang pro dan kontra berdasarkan kebutuhan aktual dan memilih apakah akan menggunakan fitur baru ini.