Kürzlich führte Max Woolf, ein leitender Datenwissenschaftler von BuzzFeed, ein ansprechendes Experiment durch, um die Auswirkungen der Verbesserung des Code zu untersuchen, indem sie wiederholt KI anforderten. In dem Experiment verwendete er das Claude3.5 -Sprachmodell und schlug eine klassische Programmierherausforderung vor: Python -Code zu schreiben, um die maximalen und minimalen Werte der Summe der Zahlen in einer Million Zufallszahlen zu finden.
In der ersten Version wird Claude generiert, dass Code mit 657 Millisekunden ausgeführt wird. Als Wolf jedoch weiter in den einfachen Anweisungen "Schreiben Sie besserer Code" ein, wurde der resultierende Code auf nur 6 Millisekunden verkürzt, und die Leistung wurde durch volle 100-fach verbessert. Dieses Ergebnis ist nicht nur auffällig, sondern zeigt auch unerwartete Änderungen im Prozess der Definition von "besserem Code".
Auf der vierten Anfrage, "besserer Code zu schreiben", verwandelte Claude den Code unerwartet in eine Struktur, die einer Enterprise -Anwendung ähnelt, und fügte einige typische Unternehmensfunktionen hinzu, nach denen Woolf nicht gefragt wurde. Dies deutet darauf hin, dass KI den „besseren Code“ mit „Software auf Unternehmensebene“ in Verbindung bringen kann, was das während seines Trainingsprozesses absorbierte Wissen widerspiegelt.
Der Entwickler Simon Willison führte eine eingehende Analyse dieses iterativen Verbesserungsphänomens durch und glaubte, dass das Sprachmodell den Code aus einer völlig neuen Perspektive in jeder neuen Anfrage untersucht. Obwohl jede Anfrage den Kontext des vorherigen Gesprächs enthält, analysiert Claude es so, als wäre es das erste Mal, dass der Code kontinuierlich verbessert wird.
Woolf fand jedoch, um spezifischere Anfragen zu stellen, dass dies zwar schneller zu besseren Ergebnissen führen würde, aber immer noch einige subtile Fehler im Code gab, die menschliche Korrekturen benötigten. Daher betonte er, dass eine präzise schnelle Technik immer noch entscheidend ist. Obwohl einfache Follow-up-Fragen zunächst die Codequalität verbessern können, werden gezielte Eingabeaufforderungen erhebliche Leistungsverbesserungen erzielen, obwohl die Risiken auch entsprechend zunehmen.
Es ist erwähnenswert, dass Claude in diesem Experiment einige Optimierungsschritte übersprungen hat, die menschliche Entwickler als selbstverständlich ansehen, wie z. B. Deduplizierung oder Sortierzahlen zuerst. Darüber hinaus wirken sich subtile Veränderungen in Bezug auf die Frage des Fragens auf die Ausgabe von Claude erheblich aus.
Trotz dieser beeindruckenden Leistungssteigerungen erinnert Woolf uns daran, dass menschliche Entwickler immer noch unverzichtbar sind, um Lösungen zu validieren und zu beheben. Er wies darauf hin, dass der Code von Ai-Generates zwar nicht direkt verwendet werden kann, aber seine Fähigkeit zu kreativen und Werkzeugempfehlungen verdient, ist der Aufmerksamkeit wert.
Schlüsselpunkte:
AI verbessert die Codeleistung durch wiederholte Anweisungen, und die ursprüngliche Code -Laufzeit ist von 657 Millisekunden auf 6 Millisekunden gesunken.
AI fügt automatisch Enterprise -Funktionen zum Code hinzu und demonstriert sein eindeutiges Verständnis von "besserem Code".
Schnelltechnik ist immer noch wichtig, und genaue Anfragen können die Erzeugung von Ergebnissen beschleunigen, aber es erfordert weiterhin Überprüfung und Reparatur durch manuelle Entwickler.