OpenAI baru-baru ini meluncurkan fungsi keluaran prediksi untuk model GPT-4o. Fungsi yang dikembangkan bersama dengan FactoryAI ini dapat meningkatkan kecepatan respons model secara signifikan, hingga 5 kali lipat kecepatan aslinya. Fitur ini mengurangi duplikasi dengan mengidentifikasi dan menggunakan kembali bagian konten yang dapat diprediksi, dan sangat efektif dalam tugas-tugas seperti pemfaktoran ulang kode dan pembaruan blog. Editor Downcodes akan menjelaskan secara detail kelebihan, keterbatasan dan biaya penggunaan fitur baru ini.
OpenAI baru-baru ini meluncurkan pembaruan penting, memperkenalkan fungsi Output yang Diprediksi ke model GPT-4o. Teknologi inovatif ini secara signifikan meningkatkan kecepatan respons model, yang bisa mencapai 5 kali lipat kecepatan asli dalam skenario tertentu, sehingga menghadirkan pengalaman efisiensi baru bagi pengembang.
Keuntungan inti dari fitur ini, yang dikembangkan bersama oleh OpenAI dan FactoryAI, adalah dapat melewati proses duplikasi dalam menghasilkan konten yang dikenal. Sangat baik dalam aplikasi dunia nyata, terutama pada tugas-tugas seperti memperbarui postingan blog, mengulangi balasan yang sudah ada, atau menulis ulang kode. Menurut data yang disediakan oleh FactoryAI, dalam tugas pemrograman, waktu respons telah dipersingkat 2 hingga 4 kali lipat, sehingga mempersingkat tugas yang awalnya membutuhkan 70 detik untuk diselesaikan dalam 20 detik.
Saat ini, fungsi ini hanya terbuka untuk pengembang melalui API dan mendukung model GPT-4o dan GPT-4mini. Masukan dari penggunaan sebenarnya positif, dan banyak pengembang sudah mulai menguji dan berbagi pengalaman mereka. Eric Ciarla, pendiri Firecrawl, mengatakan saat mengonversi konten SEO: kecepatan telah meningkat secara signifikan dan penggunaannya sederhana dan langsung.
Secara teknis, keluaran prediktif bekerja dengan mengidentifikasi dan menggunakan kembali bagian konten yang dapat diprediksi. Dokumen resmi OpenAI memberikan contoh bahwa dalam skenario seperti pemfaktoran ulang kode, seperti saat mengubah atribut Nama Pengguna dalam kode C# menjadi Email, kecepatan pembuatan dapat ditingkatkan secara signifikan dengan memasukkan seluruh file kelas sebagai teks prediksi.
Namun, fitur ini memiliki beberapa keterbatasan dan peringatan. Selain keterbatasan dukungan model, parameter API tertentu tidak tersedia saat menggunakan keluaran prediksi, termasuk nilai n yang lebih besar dari 1, logprob, dan kehadiran_penalty dan frekuensi_penalty lebih besar dari 0.
Perlu dicatat bahwa fitur ini, selain memberikan waktu respons yang lebih cepat, juga membawa sedikit peningkatan biaya. Menurut data pengujian pengguna, setelah menggunakan fungsi keluaran prediktif untuk tugas yang sama, meskipun waktu pemrosesan berkurang dari 5,2 detik menjadi 3,3 detik, biayanya meningkat dari 0,1555 sen menjadi 0,2675 sen. Hal ini karena OpenAI juga membebankan tingkat token penyelesaian untuk token penyelesaian non-final yang diberikan selama prediksi.
Meskipun biayanya sedikit meningkat, fitur ini masih memiliki nilai penerapan yang cukup besar mengingat peningkatan efisiensi yang signifikan. Pengembang dapat memperoleh petunjuk teknis dan panduan penggunaan yang lebih rinci melalui dokumentasi resmi OpenAI.
Dokumentasi resmi OpenAI:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
Secara keseluruhan, fungsi keluaran prediksi OpenAI memberi pengembang peningkatan efisiensi yang signifikan, dan meskipun ada beberapa pembatasan penggunaan dan peningkatan biaya, peningkatan kecepatan yang dihasilkannya masih patut untuk diperhatikan. Editor Downcodes merekomendasikan agar pengembang mengevaluasi nilai aplikasi mereka berdasarkan kebutuhan mereka sendiri.