เมื่อเร็ว ๆ นี้ Max Woolf นักวิทยาศาสตร์ด้านข้อมูลอาวุโสของ BuzzFeed ได้ทำการทดลองที่น่าสนใจเพื่อสำรวจผลกระทบของการปรับปรุงรหัสโดยขอ AI ซ้ำ ๆ ในการทดลองเขาใช้โมเดลภาษา Claude3.5 และเสนอความท้าทายการเขียนโปรแกรมแบบคลาสสิก: การเขียนรหัส Python เพื่อค้นหาค่าสูงสุดและต่ำสุดของผลรวมของตัวเลขในตัวเลขสุ่ม
ในเวอร์ชันเริ่มต้น Claude สร้างรหัสที่ 657 มิลลิวินาที อย่างไรก็ตามเมื่อหมาป่ายังคงป้อนคำสั่งง่ายๆ "เขียนโค้ดที่ดีกว่า" รหัสผลลัพธ์จะสั้นลงเหลือเพียง 6 มิลลิวินาทีและประสิทธิภาพได้รับการปรับปรุงให้ดีขึ้น 100 เท่า ผลลัพธ์นี้ไม่เพียง แต่สะดุดตา แต่ยังแสดงการเปลี่ยนแปลงที่ไม่คาดคิดในกระบวนการกำหนด "รหัสที่ดีกว่า"
ในคำขอที่สี่เป็น "เขียนโค้ดที่ดีกว่า" Claude แปลงรหัสโดยไม่คาดคิดเป็นโครงสร้างที่คล้ายกับแอปพลิเคชันระดับองค์กรโดยเพิ่มคุณสมบัติองค์กรทั่วไปที่ Woolf ไม่ได้ขอ สิ่งนี้ชี้ให้เห็นว่า AI อาจเชื่อมโยง“ รหัสที่ดีกว่า” กับ“ ซอฟต์แวร์ระดับองค์กร” ซึ่งสะท้อนให้เห็นถึงความรู้ที่ซึมซับในระหว่างกระบวนการฝึกอบรม
นักพัฒนา Simon Willison ดำเนินการวิเคราะห์เชิงลึกของปรากฏการณ์การปรับปรุงซ้ำนี้โดยเชื่อว่ารูปแบบภาษาตรวจสอบรหัสจากมุมมองใหม่อย่างสมบูรณ์ในทุกคำขอใหม่ แม้ว่าแต่ละคำขอจะมีบริบทของการสนทนาก่อนหน้านี้ Claude วิเคราะห์ราวกับว่ามันเป็นครั้งแรกที่เห็นรหัสซึ่งช่วยให้มันได้รับการปรับปรุงอย่างต่อเนื่อง
อย่างไรก็ตาม Woolf พบในความพยายามที่จะทำการร้องขอที่เฉพาะเจาะจงมากขึ้นว่าในขณะที่สิ่งนี้จะส่งผลให้ผลลัพธ์ที่ดีขึ้นเร็วขึ้น แต่ก็ยังมีข้อผิดพลาดเล็กน้อยในรหัสที่ต้องการการแก้ไขของมนุษย์ ดังนั้นเขาจึงเน้นว่าวิศวกรรมที่รวดเร็วยังคงเป็นสิ่งสำคัญ แม้ว่าคำถามที่ติดตามอย่างง่ายสามารถปรับปรุงคุณภาพของรหัสได้ แต่การแจ้งเตือนเป้าหมายจะนำการปรับปรุงประสิทธิภาพที่สำคัญแม้ว่าความเสี่ยงจะเพิ่มขึ้นตาม
เป็นที่น่าสังเกตว่าในการทดลองนี้ Claude ข้ามขั้นตอนการเพิ่มประสิทธิภาพบางอย่างที่นักพัฒนามนุษย์ใช้เพื่อรับเช่นการซ้ำซ้อนหรือการเรียงลำดับตัวเลขก่อน นอกจากนี้การเปลี่ยนแปลงเล็กน้อยในการถามคำถามจะส่งผลกระทบอย่างมีนัยสำคัญต่อผลลัพธ์ของ Claude
แม้จะมีการเพิ่มประสิทธิภาพที่น่าประทับใจเหล่านี้ Woolf เตือนเราว่านักพัฒนามนุษย์ยังคงขาดไม่ได้ในการตรวจสอบความถูกต้องของโซลูชันและการแก้ไขปัญหา เขาชี้ให้เห็นว่าในขณะที่รหัส Ai-Generated ไม่สามารถใช้โดยตรงความสามารถในการสร้างสรรค์และคำแนะนำเครื่องมือนั้นคุ้มค่าที่จะให้ความสนใจ
ประเด็นสำคัญ:
AI ปรับปรุงประสิทธิภาพของรหัสผ่านคำแนะนำซ้ำ ๆ และเวลาทำงานรหัสดั้งเดิมลดลงจาก 657 มิลลิวินาทีเป็น 6 มิลลิวินาที
AI จะเพิ่มคุณสมบัติขององค์กรโดยอัตโนมัติในรหัสแสดงให้เห็นถึงความเข้าใจที่เป็นเอกลักษณ์ของ "รหัสที่ดีกว่า"
วิศวกรรมที่รวดเร็วยังคงมีความสำคัญและคำขอที่ถูกต้องสามารถเพิ่มความเร็วในการสร้างผลลัพธ์ แต่ก็ยังต้องมีการตรวจสอบและซ่อมแซมโดยนักพัฒนาด้วยตนเอง