대규모 언어 모델(LLM)의 급속한 발전은 인상적이지만 단순히 모델 규모의 확장을 추구하는 것만으로는 진정한 AI 지능을 달성하기에는 충분하지 않습니다. Downcodes의 편집자는 추론 단계에서 계속 학습하고 개선할 수 있도록 모델에 자체 진화 기능을 제공하는 것이 AI의 향후 개발에 중요하다고 믿습니다. 본 글에서는 AI의 자기진화의 핵심 요소인 장기기억(LTM)에 대해 알아보고, LTM을 통해 AI의 지속적인 발전을 이루는 방법에 대해 알아본다.
GPT 시리즈와 같은 대형 언어 모델(LLM)은 방대한 데이터 세트를 통해 언어 이해, 추론 및 계획 분야에서 놀라운 능력을 입증했으며 다양한 도전적인 작업에서 인간과 비슷한 수준에 도달했습니다. 대부분의 연구는 보다 강력한 기본 모델을 개발하려는 목표로 더 큰 데이터 세트에서 모델을 훈련하여 이러한 모델을 더욱 향상시키는 데 중점을 두었습니다.
그러나 보다 강력한 기본 모델을 훈련하는 것도 중요하지만, 연구자들은 추론 단계에서 모델이 계속해서 진화할 수 있는 능력, 즉 AI 자기진화 능력을 부여하는 것도 AI 발전에 있어서 중요하다고 생각한다. 모델을 훈련하기 위해 대규모 데이터를 사용하는 것과 비교할 때, 자기 진화에는 제한된 데이터나 상호 작용만 필요할 수 있습니다.
연구진은 인간 대뇌 피질의 기둥 구조에서 영감을 받아 AI 모델이 환경과의 반복적인 상호 작용을 통해 창발적 인지 능력을 개발하고 내부 표현 모델을 구축할 수 있다는 가설을 세웠습니다.
이 목표를 달성하기 위해 연구자들은 모델에 처리된 실제 상호 작용 데이터를 저장하고 관리하기 위한 장기 기억(LTM)이 있어야 한다고 제안했습니다. LTM은 롱테일 개인 데이터를 통계 모델로 표현할 수 있을 뿐만 아니라, 다양한 환경과 에이전트에 걸쳐 다양한 경험을 지원함으로써 자기 진화를 촉진합니다.
LTM은 AI의 자기진화를 실현하는 핵심이다. 인간이 개인의 경험과 환경과의 상호작용을 통해 지속적으로 학습하고 발전하는 것과 마찬가지로, AI 모델의 자기진화 역시 상호작용 중에 축적된 LTM 데이터에 의존합니다. 인간의 진화와 달리 LTM 기반 모델 진화는 실제 상호 작용에만 국한되지 않습니다. 모델은 인간과 마찬가지로 물리적 환경과 상호 작용하고 직접적인 피드백을 받을 수 있으며, 이를 처리하여 역량을 향상시킬 수 있습니다. 이는 구체화된 AI의 핵심 연구 분야이기도 합니다.
반면, 모델은 가상 환경에서도 상호 작용하고 LTM 데이터를 축적할 수 있는데, 이는 실제 상호 작용보다 비용이 저렴하고 효율적이므로 기능을 더욱 효과적으로 향상시킬 수 있습니다.
LTM을 구축하려면 원시 데이터를 정제하고 구조화해야 합니다. 원시 데이터(Raw data)는 외부 환경과의 상호작용이나 훈련 과정에서 모델이 수신한 처리되지 않은 모든 데이터의 집합을 의미합니다. 이러한 데이터에는 다양한 관찰과 기록이 포함되어 있으며, 여기에는 귀중한 패턴과 대량의 중복되거나 관련 없는 정보가 포함될 수 있습니다.
원시 데이터는 모델 기억 및 인지의 기초를 형성하지만 개인화 또는 효율적인 작업 실행을 위해 효과적으로 사용되려면 추가 처리가 필요합니다. LTM은 이러한 원시 데이터를 모델에서 사용할 수 있도록 개선하고 구조화합니다. 이 프로세스는 개인화된 응답과 권장 사항을 제공하는 모델의 능력을 향상시킵니다.
LTM을 구축하면 데이터 희소성 및 사용자 다양성과 같은 문제에 직면하게 됩니다. 지속적으로 업데이트되는 LTM 시스템에서는 데이터 희소성이 일반적인 문제입니다. 특히 상호 작용 기록이 제한적이거나 활동이 분산된 사용자의 경우 모델 교육이 어려워집니다. 또한 사용자 다양성으로 인해 복잡성이 가중되므로 모델이 개별 패턴에 적응하고 다양한 사용자 그룹에 걸쳐 효과적으로 일반화되어야 합니다.
연구진은 LTM을 기반으로 AI 자체 진화를 구현하는 Omne이라는 다중 에이전트 협업 프레임워크를 개발했습니다. 이 프레임워크에서 각 에이전트는 독립적인 시스템 구조를 가지며 완전한 환경 모델을 자율적으로 학습하고 저장하여 환경에 대한 독립적인 이해를 구축할 수 있습니다. LTM을 기반으로 한 이러한 협업 개발을 통해 AI 시스템은 개인 행동 변화에 실시간으로 적응하고 작업 계획 및 실행을 최적화하며 더욱 개인화되고 효율적인 AI 자체 진화를 촉진할 수 있습니다.
Omne 프레임워크는 GAIA 벤치마크 테스트에서 1위를 차지하여 AI 자체 진화를 위해 LTM을 활용하고 실제 문제를 해결할 수 있는 엄청난 잠재력을 입증했습니다. 연구자들은 LTM 연구의 발전이 특히 자기 진화 측면에서 AI 기술의 지속적인 개발과 실제 적용에 중요하다고 믿습니다.
전체적으로 장기 기억은 AI 자기 진화의 핵심이며 AI 모델이 인간과 마찬가지로 경험을 통해 학습하고 개선할 수 있도록 해줍니다. LTM을 구축하고 활용하려면 데이터 희소성 및 사용자 다양성과 같은 문제를 극복해야 합니다. Omne 프레임워크는 LTM 기반 AI 자체 진화를 위한 실행 가능한 솔루션을 제공하며, GAIA 벤치마크 테스트에서의 성공은 이 분야의 엄청난 잠재력을 보여줍니다.
논문: https://arxiv.org/pdf/2410.15665
장기기억(LTM) 연구를 통해 AI의 자기진화는 더 이상 먼 꿈이 아니다. 앞으로 LTM 기반 AI 모델은 더욱 다양한 분야에서 더욱 강력한 역량을 발휘하고 인류사회에 더 큰 혜택을 가져다줄 것으로 기대된다. 더욱 혁신적인 결과를 기대합니다!