Microsoft 연구진은 사람의 개입 없이 안내 데이터 세트를 자동으로 발전시킬 수 있는 Auto Evol-Instruct라는 새로운 AI 프레임워크를 출시했습니다. 이는 복잡한 지침을 따르는 대규모 언어 모델(LLM)의 능력을 향상시키는 데 매우 중요합니다. 전통적인 진화 방법은 인위적으로 설계된 규칙에 의존하는데, 이는 비효율적이고 새로운 작업에 적응하기 어렵습니다. 반면 Auto Evol-Instruct는 LLM을 통해 지침을 자동으로 분석하고 진화 규칙을 독립적으로 설계 및 최적화하며 자동화되고 효율적인 진화 프로세스를 실현하며 데이터 세트의 복잡성과 다양성을 크게 향상시킵니다.
최근 Microsoft 연구진은 사람의 개입 없이 안내 데이터 세트를 자동으로 발전시킬 수 있는 Auto Evol-Instruct라는 새로운 AI 프레임워크를 제안했습니다.
인공 지능 분야에서 LLM(대형 언어 모델)의 개발은 특히 이러한 모델이 세부 지침을 따르는 능력을 향상시키는 데 매우 중요합니다. 연구원들은 모델의 성능과 적응성을 향상시키기 위해 LLM을 훈련하는 데 사용되는 데이터 세트를 개선하는 방법을 탐구해 왔습니다.
Evol-Instruct와 같은 전통적인 진화 방법은 인간 전문가가 지정한 진화 규칙에 의존하므로 비용이 많이 들고 시간이 많이 걸릴 뿐만 아니라 새로운 작업에 적응할 때 방법을 재설계해야 합니다. 이와 대조적으로 Auto Evol-Instruct는 먼저 LLM을 사용하여 입력 지침을 분석하고 진화 규칙의 초기 방법을 독립적으로 설계함으로써 자동화된 진화 프로세스를 실현합니다. 이후, 진화 방법은 최적화 LLM을 통해 반복적으로 최적화되어 진화 과정에서 문제를 식별하고 해결하여 최종 진화 명령의 복잡성과 안정성을 보장합니다.
Auto Evol-Instruct는 LLM을 활용하여 입력 지침을 자동으로 분석하고 진화 규칙을 공식화함으로써 진화 방법을 설계함으로써 데이터 세트의 복잡성과 다양성을 높입니다.
성능 평가 측면에서 Auto Evol-Instruct는 여러 벤치마크 테스트에서 좋은 성능을 보였습니다. 예를 들어, 10K의 진화된 ShareGPT 데이터만 사용하여 Mixtral-8x7B를 미세 조정함으로써 프레임워크는 MT-Bench에서 8.09포인트, AlpacaEval에서 91.4포인트를 달성하여 GPT-3.5-Turbo 및 WizardLM-70B를 능가하고 Claude2.0과 경쟁하는 것은 동등한.
또한 프레임워크는 7K 진화된 GSM8K 훈련 데이터만 사용하여 코드 생성 측면에서 20K 진화된 Code Alpaca를 사용하여 DeepSeek-Coder-Base-33B를 미세 조정함으로써 GSM8K에서 82.49점을 달성했습니다. HumanEval은 77.4점을 획득하여 다른 경쟁 모델을 능가했습니다.
이 새로운 프레임워크는 MT-Bench, AlpacaEval, GSM8K 및 HumanEval을 포함한 여러 벤치마크 테스트에서 좋은 성능을 발휘하여 명령 따르기, 수학적 추론 및 코드 생성 기능을 향상시키는 잠재력을 입증했습니다.
논문 주소: https://arxiv.org/abs/2406.00770
하이라이트:
Auto Evol-Instruct는 사람의 개입 없이 안내 데이터 세트를 자동으로 분석하고 발전시킬 수 있는 완전 자동 AI 프레임워크입니다.
프레임워크는 진화 방법을 최적화하여 데이터 세트의 복잡성과 다양성을 효과적으로 증가시켜 다양한 작업에서 LLM의 성능과 적응성을 향상시킵니다.
Auto Evol-Instruct의 결과는 자동화를 통해 데이터 세트의 발전을 안내하는 방법을 보여줍니다.
Auto Evol-Instruct 프레임워크의 출현은 LLM 교육 데이터의 진화 방법에 있어 큰 혁신을 의미합니다. 자동화되고 효율적인 기능은 LLM 개발을 크게 촉진하고 보다 강력하고 적응 가능한 AI 모델을 구축하기 위한 강력한 지원을 제공할 것입니다. 관련 논문이 출판되었으며 관심 있는 독자는 해당 논문을 심층적으로 연구할 수 있습니다.