Baru -baru ini, Max Woolf, seorang ilmuwan data senior di BuzzFeed, melakukan percobaan yang menarik untuk mengeksplorasi efek peningkatan kode dengan berulang kali meminta AI. Dalam percobaan, ia menggunakan model bahasa Claude3.5 dan mengusulkan tantangan pemrograman klasik: menulis kode Python untuk menemukan nilai maksimum dan minimum dari jumlah angka dalam satu juta angka acak.
Dalam versi awal, kode yang dihasilkan Claude berjalan pada 657 milidetik. Namun, ketika Wolf terus memasukkan instruksi sederhana "Tulis kode yang lebih baik", kode yang dihasilkan dipersingkat menjadi hanya 6 milidetik, dan kinerja ditingkatkan dengan 100 kali lipat penuh. Hasil ini tidak hanya menarik, tetapi juga menunjukkan perubahan yang tidak terduga dalam proses mendefinisikan "kode yang lebih baik".
Pada permintaan keempat untuk "menulis kode yang lebih baik", Claude secara tak terduga mengubah kode menjadi struktur yang mirip dengan aplikasi perusahaan, menambahkan beberapa fitur perusahaan khas yang tidak diminta Woolf. Ini menunjukkan bahwa AI dapat mengaitkan "kode yang lebih baik" dengan "perangkat lunak tingkat perusahaan", yang mencerminkan pengetahuan yang diserap selama proses pelatihannya.
Pengembang Simon Willison melakukan analisis mendalam tentang fenomena peningkatan iteratif ini, percaya bahwa model bahasa memeriksa kode dari perspektif yang sama sekali baru dalam setiap permintaan baru. Meskipun setiap permintaan berisi konteks percakapan sebelumnya, Claude menganalisisnya seolah -olah itu adalah pertama kalinya melihat kode, yang memungkinkannya untuk terus meningkat.
Namun, Woolf ditemukan dalam upaya untuk membuat permintaan yang lebih spesifik bahwa sementara ini akan menghasilkan hasil yang lebih baik lebih cepat, masih ada beberapa kesalahan halus dalam kode yang membutuhkan perbaikan manusia. Karena itu, ia menekankan bahwa rekayasa cepat yang tepat masih penting. Meskipun pertanyaan tindak lanjut yang sederhana pada awalnya dapat meningkatkan kualitas kode, petunjuk yang ditargetkan akan membawa peningkatan kinerja yang signifikan, meskipun risikonya juga akan meningkat.
Perlu dicatat bahwa dalam percobaan ini, Claude melewatkan beberapa langkah optimisasi yang diterima oleh pengembang manusia, seperti deduplikasi atau menyortir angka terlebih dahulu. Selain itu, perubahan halus dalam cara mengajukan pertanyaan juga akan secara signifikan mempengaruhi output Claude.
Terlepas dari keuntungan kinerja yang mengesankan ini, Woolf mengingatkan kita bahwa pengembang manusia masih sangat diperlukan dalam memvalidasi solusi dan pemecahan masalah. Dia menunjukkan bahwa sementara kode yang dihasilkan AI tidak dapat digunakan secara langsung, kemampuannya untuk kreatif dan rekomendasi alat layak mendapat perhatian.
Poin -Poin Kunci:
AI meningkatkan kinerja kode melalui instruksi berulang, dan waktu berjalan kode asli telah turun dari 657 milidetik menjadi 6 milidetik.
AI secara otomatis menambahkan fitur perusahaan ke kode, menunjukkan pemahamannya yang unik tentang "kode yang lebih baik".
Teknik yang cepat masih penting, dan permintaan yang akurat dapat mempercepat pembuatan hasil, tetapi masih membutuhkan verifikasi dan perbaikan oleh pengembang manual.