เมื่อเร็วๆ นี้ OpenAI ได้เปิดตัวฟังก์ชันเอาต์พุตการทำนายสำหรับรุ่น GPT-4o ฟังก์ชันนี้ที่พัฒนาร่วมกับ FactoryAI สามารถปรับปรุงความเร็วการตอบสนองของโมเดลได้อย่างมาก ถึง 5 เท่าของความเร็วเดิม คุณลักษณะนี้ช่วยลดความซ้ำซ้อนโดยการระบุและนำส่วนเนื้อหาที่คาดเดาได้กลับมาใช้ใหม่ และมีประสิทธิภาพโดยเฉพาะอย่างยิ่งในงานต่างๆ เช่น การปรับโครงสร้างโค้ดใหม่และการอัปเดตบล็อก ผู้แก้ไข Downcodes จะอธิบายรายละเอียดเกี่ยวกับข้อดี ข้อจำกัด และต้นทุนการใช้งานของฟีเจอร์ใหม่นี้
เมื่อเร็วๆ นี้ OpenAI ได้เปิดตัวการอัปเดตที่สำคัญ โดยแนะนำฟังก์ชัน Predicted Outputs ให้กับรุ่น GPT-4o เทคโนโลยีที่เป็นนวัตกรรมนี้ช่วยปรับปรุงความเร็วการตอบสนองของโมเดลได้อย่างมาก ซึ่งสามารถเพิ่มความเร็วได้สูงสุดถึง 5 เท่าของความเร็วเดิมในบางสถานการณ์ มอบประสบการณ์ประสิทธิภาพใหม่ให้กับนักพัฒนา
ข้อได้เปรียบหลักของฟีเจอร์นี้ ซึ่งพัฒนาร่วมกันโดย OpenAI และ FactoryAI คือสามารถข้ามกระบวนการทำซ้ำในการสร้างเนื้อหาที่รู้จักได้ ใช้งานได้ดีเยี่ยมในการใช้งานจริง โดยเฉพาะอย่างยิ่งในงานต่างๆ เช่น การอัปเดตโพสต์ในบล็อก การวนซ้ำการตอบกลับที่มีอยู่ หรือการเขียนโค้ดใหม่ จากข้อมูลที่ได้รับจาก FactoryAI ในงานการเขียนโปรแกรม เวลาตอบสนองลดลง 2 ถึง 4 เท่า โดยบีบอัดงานที่เดิมใช้เวลา 70 วินาทีจึงจะเสร็จสิ้นภายใน 20 วินาที
ปัจจุบันฟังก์ชันนี้เปิดให้นักพัฒนาผ่าน API เท่านั้น และรองรับรุ่น GPT-4o และ GPT-4mini ผลตอบรับจากการใช้งานจริงเป็นไปในเชิงบวก และนักพัฒนาจำนวนมากได้เริ่มทดสอบและแบ่งปันประสบการณ์ของตน Eric Ciarla ผู้ก่อตั้ง Firecrawl กล่าวเมื่อแปลงเนื้อหา SEO: ความเร็วได้รับการปรับปรุงอย่างมาก และการใช้งานก็เรียบง่ายและตรงไปตรงมา
ในทางเทคนิค ผลลัพธ์เชิงคาดการณ์จะทำงานโดยการระบุและนำส่วนที่คาดเดาได้ของเนื้อหากลับมาใช้ใหม่ เอกสารอย่างเป็นทางการของ OpenAI ให้ตัวอย่างว่าในสถานการณ์ต่างๆ เช่น การปรับโครงสร้างโค้ด เช่น เมื่อเปลี่ยนแอตทริบิวต์ชื่อผู้ใช้ในโค้ด C# เป็นอีเมล ความเร็วในการสร้างสามารถปรับปรุงได้อย่างมากโดยการป้อนไฟล์คลาสทั้งหมดเป็นข้อความที่คาดเดา
อย่างไรก็ตาม คุณลักษณะนี้มาพร้อมกับข้อจำกัดและข้อควรระวังบางประการ นอกเหนือจากข้อจำกัดของการรองรับโมเดลแล้ว พารามิเตอร์ API บางตัวยังไม่พร้อมใช้งานเมื่อใช้เอาต์พุตการทำนาย รวมถึงค่า n ที่มากกว่า 1, logprobs และ Presence_penalty และ Frequency_penalty ที่มากกว่า 0
เป็นที่น่าสังเกตว่าฟีเจอร์นี้แม้จะให้เวลาตอบสนองที่รวดเร็วกว่า แต่ก็ทำให้ต้นทุนเพิ่มขึ้นเล็กน้อยเช่นกัน ตามข้อมูลการทดสอบของผู้ใช้ หลังจากใช้ฟังก์ชันเอาต์พุตแบบคาดการณ์สำหรับงานเดียวกัน แม้ว่าเวลาในการประมวลผลจะลดลงจาก 5.2 วินาทีเหลือ 3.3 วินาที แต่ต้นทุนก็เพิ่มขึ้นจาก 0.1555 เซนต์เป็น 0.2675 เซนต์ เนื่องจาก OpenAI ยังเรียกเก็บอัตราโทเค็นการสำเร็จสำหรับโทเค็นการสำเร็จที่ไม่ใช่ขั้นสุดท้ายที่ให้ไว้ระหว่างการคาดการณ์
แม้ว่าต้นทุนจะเพิ่มขึ้นเล็กน้อย แต่ฟีเจอร์นี้ยังคงมีมูลค่าการใช้งานจำนวนมากเมื่อพิจารณาถึงการปรับปรุงประสิทธิภาพที่สำคัญ นักพัฒนาสามารถรับคำแนะนำทางเทคนิคและคู่มือการใช้งานโดยละเอียดเพิ่มเติมได้จากเอกสารอย่างเป็นทางการของ OpenAI
เอกสารอย่างเป็นทางการของ OpenAI:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
โดยรวมแล้ว ฟังก์ชันเอาต์พุตการคาดการณ์ของ OpenAI ช่วยให้นักพัฒนาได้รับประสิทธิภาพเพิ่มขึ้นอย่างมาก และถึงแม้จะมีข้อจำกัดการใช้งานและค่าใช้จ่ายที่เพิ่มขึ้น การปรับปรุงความเร็วก็ยังคุ้มค่าที่จะให้ความสนใจ เครื่องมือแก้ไข Downcodes แนะนำให้นักพัฒนาประเมินมูลค่าของแอปพลิเคชันตามความต้องการของตนเอง