ในช่วงไม่กี่ปีที่ผ่านมาปัญญาประดิษฐ์ (AI) มีการใช้กันอย่างแพร่หลายมากขึ้นในสาขาการเขียนโปรแกรม แต่ความสามารถของมันยังคงมีข้อ จำกัด บางประการ เมื่อเร็ว ๆ นี้ Max Woolf นักวิทยาศาสตร์ด้านข้อมูลอาวุโสที่ BuzzFeed พบผ่านชุดการทดลองที่คุณภาพของรหัสที่สร้างโดย AI สามารถปรับปรุงได้อย่างมีนัยสำคัญโดยการให้เคล็ดลับอย่างต่อเนื่องสำหรับแบบจำลองภาษาขนาดใหญ่ (LLMs) การค้นพบนี้ไม่เพียง แต่กระตุ้นการสนทนาที่ร้อนแรงในวงกลมเทคโนโลยี แต่ยังดึงดูดความสนใจของนักวิทยาศาสตร์ AI หลายคนโดยเน้นถึงความสำคัญของการเพิ่มประสิทธิภาพซ้ำ ๆ และการออกแบบคำที่รวดเร็วในการเขียนโปรแกรม AI
ในการทดลองของ Woolf เขาเลือกโมเดล AI Claude3.5Sonnet เป็นวัตถุการวิจัย ขั้นตอนแรกในการทดลองคือการให้แบบจำลองแก้ปัญหาการเขียนโปรแกรมที่ค่อนข้างง่าย: วิธีการค้นหาความแตกต่างระหว่างค่าต่ำสุดและค่าสูงสุดของผลรวมของแต่ละหลักคือ 30 ในจำนวนเต็มสุ่มหนึ่งล้าน หลังจากได้รับงาน Claude สร้างรหัสอย่างรวดเร็วซึ่งตรงตามข้อกำหนด แต่ Woolf เชื่อว่ายังมีที่ว่างสำหรับการปรับปรุงในรหัสนี้
เพื่อเพิ่มประสิทธิภาพรหัสเพิ่มเติม Woolf ตัดสินใจที่จะขอให้ Claude เพิ่มประสิทธิภาพซ้ำ ๆ ซ้ำ ๆ หลังจากแต่ละรหัส หลังจากการวนซ้ำครั้งแรก Claude refactored รหัสลงในคลาส Python เชิงวัตถุและใช้การปรับให้เหมาะสมสองครั้งที่สำคัญซึ่งเพิ่มรหัสขึ้นเร็วขึ้น 2.7 เท่า ในการทำซ้ำครั้งที่สอง Claude ได้แนะนำการประมวลผลแบบหลายเธรดและการคำนวณแบบเวกเตอร์ซึ่งในที่สุดก็เปิดใช้งานรหัสให้ทำงานได้เร็วกว่ารุ่นพื้นฐาน 5.1 เท่า
อย่างไรก็ตามเมื่อจำนวนการวนซ้ำเพิ่มขึ้นการปรับปรุงคุณภาพของรหัสจะค่อยๆช้าลง แม้ว่าแบบจำลองจะลองใช้เทคนิคที่ซับซ้อนมากขึ้นเช่นการรวบรวม JIT และการเขียนโปรแกรมแบบอะซิงโครนัสในการทำซ้ำครั้งต่อไปการเพิ่มประสิทธิภาพเหล่านี้ไม่ได้นำการปรับปรุงประสิทธิภาพที่คาดหวังและนำไปสู่การเสื่อมสภาพของประสิทธิภาพในบางกรณี ปรากฏการณ์นี้แสดงให้เห็นว่าแม้ว่าคำแนะนำซ้ำ ๆ จะสามารถปรับปรุงคุณภาพของรหัสในระยะแรกได้ แต่ผลของพวกเขาจะค่อยๆลดลงหลังจากถึงระดับหนึ่ง
การทดลองของ Woolf ไม่เพียง แต่แสดงให้เห็นถึงศักยภาพที่ยิ่งใหญ่ของ AI ในสาขาการเขียนโปรแกรม แต่ยังเผยให้เห็นข้อ จำกัด ในการใช้งานจริง แม้ว่า AI สามารถเพิ่มประสิทธิภาพรหัสผ่านการทำซ้ำ ๆ แต่วิธีการสร้างสมดุลระหว่างประสิทธิภาพและความซับซ้อนเมื่อการออกแบบคำที่พรอมต์ยังคงเป็นปัญหาที่ต้องพูดถึงในเชิงลึก การวิจัยนี้ให้แนวคิดใหม่สำหรับการเขียนโปรแกรม AI ในอนาคตและยังเตือนเราว่า AI ไม่ได้มีอำนาจทุกอย่างและกลยุทธ์การใช้อย่างมีเหตุผลและการปรับให้เหมาะสมเป็นกุญแจสำคัญ