최근 BuzzFeed의 선임 데이터 과학자 인 Max Woolf는 AI를 반복적으로 요청하여 코드 개선의 효과를 탐색하기 위해 매력적인 실험을 수행했습니다. 실험에서 그는 Claude3.5 언어 모델을 사용하고 고전적인 프로그래밍 과제를 제안했습니다. Python 코드를 작성하여 백만 명에 달하는 숫자의 합의 최소값을 찾습니다.
초기 버전에서 Claude 생성 코드는 657 밀리 초로 실행됩니다. 그러나 Wolf가 간단한 명령 "쓰기 더 나은 코드"를 계속 입력함에 따라 결과 코드는 6 밀리 초로 단축되었으며 성능은 100 배로 향상되었습니다. 이 결과는 시선을 사로 잡을뿐만 아니라 "더 나은 코드"를 정의하는 과정에서 예기치 않은 변화를 보여줍니다.
"더 나은 코드 작성"에 대한 네 번째 요청에서 Claude는 예기치 않게 코드를 엔터프라이즈 애플리케이션과 유사한 구조로 변환하여 Woolf가 요구하지 않은 일부 일반적인 엔터프라이즈 기능을 추가했습니다. 이는 AI가“더 나은 코드”를“엔터프라이즈 수준 소프트웨어”와 연관시켜 교육 과정에서 흡수 된 지식을 반영 할 수 있음을 시사합니다.
개발자 Simon Willison 은이 반복적 인 개선 현상에 대한 심층 분석을 수행하여 언어 모델이 모든 새로운 요청에서 완전히 새로운 관점에서 코드를 검사한다고 믿었습니다. 각 요청에는 이전 대화의 컨텍스트가 포함되어 있지만 Claude는 코드를 처음 보는 것처럼 분석하여 지속적으로 개선 할 수 있습니다.
그러나 Woolf는 더 나은 결과를 얻을 수 있지만 인간 수정이 필요한 코드에 여전히 미묘한 오류가 여전히 있었다고 Woolf는 더 구체적인 요청을 시도했습니다. 따라서 그는 정확한 프롬프트 엔지니어링이 여전히 중요하다고 강조했다. 간단한 후속 질문은 처음에는 코드 품질을 향상시킬 수 있지만, 타겟팅 된 프롬프트는 상당한 성능 개선을 가져올 것이지만 그에 따라 위험이 증가 할 것입니다.
이 실험에서 Claude는 중복 제거 또는 정렬 숫자와 같이 인간 개발자가 당연한 것으로 여기는 몇 가지 최적화 단계를 건너 뛰었다는 점은 주목할 가치가 있습니다. 또한 질문을하는 방식의 미묘한 변화는 Claude의 결과에 큰 영향을 미칩니다.
이러한 인상적인 성능 이익에도 불구하고 Woolf는 인간 개발자가 솔루션 검증 및 문제 해결에 필수적이라는 사실을 상기시켜줍니다. 그는 AI 생성 코드를 직접 사용할 수는 없지만 창의적이고 도구 권장 기능에 대한 능력은 주목할 가치가 있다고 지적했다.
핵심 사항 :
AI는 반복 된 지침을 통해 코드 성능을 향상시키고 원래 코드 실행 시간은 657 밀리 초에서 6 밀리 초로 떨어졌습니다.
AI는 코드에 엔터프라이즈 기능을 자동으로 추가하여 "더 나은 코드"에 대한 고유 한 이해를 보여줍니다.
신속한 엔지니어링은 여전히 중요하며 정확한 요청은 결과의 발전 속도를 높일 수 있지만 수동 개발자의 검증 및 수리가 필요합니다.