인공 지능 분야의 최신 연구는 대형 언어 모델 (LLM)과 인간 뇌 구조 사이의 놀라운 유사성을 보여줍니다. MIT의 과학자들은 LLM의 활성화 공간에 대한 심층 분석을 통해 내부 구조가 인간 뇌의 마이크로, 메소 및 거시적 수준과 상당한 대응한다는 것을 발견했습니다. 이 발견은 AI의 작동 방식을 이해할 수있는 새로운 관점을 제공 할뿐만 아니라 Smarter AI 시스템의 미래 개발을위한 기초를 제시합니다.
AI는 실제로 "당신의 뇌를 키우기 시작했습니다"라는 최신 연구는 큰 언어 모델 (LLM)의 내부 구조가 실제로 인간의 뇌와 놀라운 유사점을 가지고 있음을 보여줍니다!
이 연구는 Sparse Autoencoder 기술을 사용하여 LLM의 활성화 공간에 대한 심층 분석을 수행하고 세 가지 수준의 구조적 특성을 발견했습니다.
첫째, 미세한 수준에서 연구원들은 "결정"구조의 존재를 발견했습니다. 이 "결정"의 얼굴은 평행 사변형 또는 사다리꼴로 구성되며 "남자 : 여자 : 왕 : 여왕"과 같은 친숙한 어휘와 유사합니다.
더 놀라운 것은 선형 판별 분석 기술을 통해 일부 관련없는 간섭 요소 (예 : 단어 길이)를 제거한 후 이러한 "결정"구조가 더 명확해진다는 것입니다.
둘째, Meso-Level에서 연구자들은 LLM의 활성화 공간이 인간 뇌의 기능적 분할과 유사한 모듈 식 구조를 가지고 있음을 발견했습니다.
예를 들어, 수학 및 코드와 관련된 기능은 함께 모여 인간 뇌의 기능성 엽과 유사한 "뇌 로브"를 형성합니다. 여러 지표에 의한 정량적 분석을 통해 연구원들은 이들 "뇌 엽"의 공간적 위치를 확인했으며, 이는 공동 발생 특징이 또한 공간적으로 집중되어 있음을 나타냅니다.
거시적 수준에서 연구원들은 LLM 기능 지점 클라우드의 전체 구조가 등방성이 아니라 전력 법칙 고유 값 분포를 보여 주며이 분포는 중간 층에서 가장 분명하다는 것을 발견했습니다.
연구원들은 또한 다른 수준에서 클러스터링 엔트로피를 정량화했으며 중간 층의 클러스터링 엔트로피가 더 낮았으며, 이는 특징 표현이 더 집중되어 있음을 나타내며, 초기 및 후기 층의 클러스터링 엔트로피가 더 높았으며, 이는 특징 표현을 나타냅니다. 더 분산되었습니다.
이 연구는 우리가 큰 언어 모델의 내부 메커니즘을 이해할 수있는 새로운 관점을 제공하고보다 강력하고 똑똑한 AI 시스템의 미래 개발을위한 토대를 마련합니다.
이 연구는 AI와 인간의 뇌 사이의 유사성을 보여줄뿐만 아니라 AI 기술의 미래 개발을위한 새로운 방향을 제공하여 AI가 더 똑똑하고 효율적이 될 것임을 나타냅니다.