ฟังก์ชั่น "เอาท์พุทการทำนาย" ล่าสุดของ OpenAI ของรุ่น GPT-4O ได้ปรับปรุงความเร็วการตอบสนองของโมเดลอย่างมากสูงสุด 5 เท่าของความเร็วดั้งเดิม ฟังก์ชั่นนี้ได้รับการพัฒนาโดยความร่วมมือกับ Factoryai อย่างมีประสิทธิภาพหลีกเลี่ยงการสร้างซ้ำโดยการระบุและนำเนื้อหาที่คาดการณ์ได้ซ้ำโดยเฉพาะอย่างยิ่งในสถานการณ์ต่าง ๆ เช่นการสร้างรหัสและการอัปเดตบล็อก ฟีเจอร์นี้เปิดผ่าน API เท่านั้นซึ่งสนับสนุน GPT-4O และ GPT-4MINI รุ่น
OpenAI เพิ่งเปิดตัวการอัปเดตที่สำคัญเพื่อแนะนำฟังก์ชั่น "เอาต์พุตที่คาดการณ์ไว้" ไปยังรุ่น GPT-4O เทคโนโลยีที่เป็นนวัตกรรมนี้ช่วยเพิ่มความเร็วในการตอบสนองของโมเดลอย่างมีนัยสำคัญถึงความเร็วดั้งเดิมถึง 5 เท่าในสถานการณ์ที่เฉพาะเจาะจงทำให้นักพัฒนาได้รับประสบการณ์ที่มีประสิทธิภาพใหม่
ข้อได้เปรียบหลักของคุณลักษณะนี้พัฒนาร่วมกันโดย OpenAI และ Factoryai คือมันสามารถข้ามกระบวนการสร้างเนื้อหาที่รู้จักซ้ำ ๆ ซ้ำ ๆ ในแอปพลิเคชันที่ใช้งานได้จริงมันทำงานได้ดีในงานเช่นการอัปเดตโพสต์บล็อกการทำซ้ำการตอบกลับที่มีอยู่หรือรหัสใหม่ จากข้อมูลที่จัดทำโดย Factoryai ในงานการเขียนโปรแกรมเวลาตอบสนองจะลดลง 2 ถึง 4 ครั้งและงานที่ใช้เวลา 70 วินาทีถูกบีบอัดให้เสร็จภายใน 20 วินาที
ในปัจจุบันฟังก์ชั่นนี้เปิดให้นักพัฒนาผ่านรูปแบบ API เท่านั้นและรองรับรุ่น GPT-4O และ GPT-4MINI ข้อเสนอแนะที่แท้จริงเกี่ยวกับการใช้งานเป็นไปในเชิงบวกและนักพัฒนาหลายคนได้เปิดตัวการทดสอบและแบ่งปันประสบการณ์ของพวกเขา Eric Ciarla ผู้ก่อตั้ง FireCrawl กล่าวเมื่อแปลงเนื้อหา SEO: "ความเร็วมีความสำคัญและการใช้งานนั้นง่ายและตรงไปตรงมา"
ในทางเทคนิคฟังก์ชันเอาต์พุตทำนายทำงานโดยการระบุและนำชิ้นส่วนเนื้อหาที่คาดการณ์ได้ซ้ำ เอกสารอย่างเป็นทางการของ OpenAI ให้ตัวอย่าง
อย่างไรก็ตามมีข้อ จำกัด การใช้งานและข้อควรระวังสำหรับคุณลักษณะนี้ นอกเหนือจากข้อ จำกัด ที่สนับสนุนโดยโมเดลพารามิเตอร์ API บางตัวไม่สามารถใช้งานได้เมื่อใช้เอาต์พุตที่คาดการณ์ไว้รวมถึงค่า n ที่มากกว่า 1, logProbs และ present_penalty และ frequency_penalty มากกว่า 0
เป็นที่น่าสังเกตว่าในขณะที่ให้การตอบสนองเร็วขึ้นคุณลักษณะนี้ยังนำมาซึ่งการเพิ่มขึ้นเล็กน้อย จากข้อมูลการทดสอบของผู้ใช้งานเดียวกันได้ลดเวลาในการประมวลผลจาก 5.2 วินาทีเป็น 3.3 วินาทีหลังจากใช้ฟังก์ชันเอาต์พุตที่คาดการณ์ไว้ แต่ค่าใช้จ่ายเพิ่มขึ้นจาก 0.1555 เซนต์เป็น 0.2675 เซนต์ นี่เป็นเพราะ OpenAI ยังเรียกเก็บอัตราโทเค็นสำหรับส่วนที่ไม่เสร็จสมบูรณ์ของการทำนาย
แม้จะมีค่าใช้จ่ายเพิ่มขึ้นเล็กน้อยคุณลักษณะนี้ยังคงมีมูลค่าแอปพลิเคชันจำนวนมากเนื่องจากการปรับปรุงประสิทธิภาพที่สำคัญ นักพัฒนาสามารถได้รับคำแนะนำทางเทคนิคโดยละเอียดเพิ่มเติมและคู่มือการใช้งานผ่านเอกสาร OpenAI อย่างเป็นทางการ
เอกสารอย่างเป็นทางการของ Openai:
https://platform.openai.com/docs/guides/lateency-optimization#use-predicted-utputs
ในระยะสั้นฟังก์ชั่น "เอาท์พุทการทำนาย" ของ OpenAI ได้นำการปรับปรุงประสิทธิภาพที่สำคัญมาสู่นักพัฒนา นักพัฒนาสามารถชั่งน้ำหนักข้อดีและข้อเสียตามความต้องการที่แท้จริงและเลือกว่าจะใช้คุณสมบัติใหม่นี้หรือไม่