인공지능 분야는 날이 갈수록 변화하고 있으며, 최근에는 인과추론이 뜨거운 연구 주제가 되고 있습니다. 기존의 기계 학습 모델은 논리적 추론이 부족한 경우가 많으며 이벤트 이면의 인과 관계를 이해하기 어렵습니다. 오늘 Downcodes의 편집자는 대형 모델, 심지어 소형 Transformer 모델의 논리적 추론 능력을 크게 향상시키는 획기적인 기계 학습 훈련 전략을 제안하는 Microsoft 및 MIT와 같은 기관의 연구 논문을 소개합니다. 4 추론 능력. 이 인상적인 연구 결과를 자세히 살펴보겠습니다.
정보가 폭발하는 시대에 우리는 매일 스마트 기기를 다루고 있습니다. 겉보기에 똑똑해 보이는 이 사람들이 비가 올 때 어떻게 우산을 가져오는지 궁금해한 적이 있습니까? 그 이면에는 실제로 인과 추론에 있어서 엄청난 혁명이 있었습니다.
Microsoft 및 MIT를 포함한 유명 학술 기관의 연구원 그룹이 획기적인 기계 학습 교육 전략을 개발했습니다. 이 전략은 논리적 추론에서 대규모 머신러닝 모델의 단점을 극복할 뿐만 아니라 다음 단계를 통해 상당한 개선을 달성합니다.
독특한 훈련 방법: 연구원들은 기존의 기계 학습 훈련 기술과 다를 수 있는 새로운 훈련 방법을 사용했습니다.
논리적 추론의 개선: 그들의 접근 방식은 대규모 모델의 논리적 추론 기능을 크게 향상시켜 기존 문제를 해결합니다.
인과성을 사용하여 훈련 세트 구성: 연구팀은 인과성 모델을 사용하여 훈련 데이터 세트를 구성합니다. 이 모델은 변수 간의 인과 관계를 밝히고 데이터 이면의 인과 논리를 이해할 수 있는 모델을 훈련하는 데 도움이 됩니다.
모델의 기본 공리 가르치기: 모델이 더 나은 논리적 추론을 수행할 수 있도록 논리 및 수학의 기본 전제를 모델에 직접 가르칩니다.
소형 Transformer 모델의 놀라운 성능: 모델 매개변수가 6,700만개에 불과하지만 이 방법을 통해 훈련된 Transformer 모델은 추론 능력 측면에서 GPT-4와 비슷합니다.
인과추론은 철학자들의 전유물처럼 들릴지 모르지만, 사실 그것은 이미 우리 삶의 모든 면에 깊숙이 침투해 들어왔습니다. 인공지능에게 인과추론을 익히는 것은 "왜냐하면...그래서..."를 사용하여 세상을 설명하는 방법을 배우는 것과 같습니다. 하지만 AI는 이것을 가지고 태어나는 것이 아니라 학습해야 하며, 이러한 학습 과정이 이 논문의 이야기입니다.
공리 훈련 방법:
매우 똑똑하지만 세상의 원인과 결과에 대해 전혀 아는 바가 없는 학생이 있다고 상상해 보십시오. 연구자들은 공리 훈련이라는 해결책을 생각해 냈습니다. 이는 AI에게 '인과관계 매뉴얼'을 주고, 이 매뉴얼을 통해 인과관계 규칙을 식별하고 적용하는 방법을 배우게 하는 것과 같습니다.
연구원들은 변환기 모델로 실험을 수행한 결과 이 훈련 방법이 실제로 효과가 있다는 것을 발견했습니다. AI는 작은 그래프에서 인과 관계를 식별하는 방법을 학습했을 뿐만 아니라 이 지식을 더 큰 그래프에도 적용할 수 있었습니다. 이전에는 이렇게 큰 그림을 본 적이 없습니다.
이 연구의 공헌은 AI가 수동적 데이터로부터 인과 추론을 학습할 수 있는 새로운 방법을 제공한다는 것입니다. 이는 AI가 세상을 더 잘 이해하고 설명할 수 있도록 새로운 '사고' 방식을 제공하는 것과 같습니다.
이번 연구는 AI가 인과 추론을 학습할 수 있는 가능성을 볼 수 있을 뿐만 아니라, 향후 AI의 가능한 적용 시나리오를 볼 수 있는 문을 열어준다. 아마도 가까운 미래에는 우리의 스마트 비서가 질문에 답할 수 있을 뿐만 아니라 어떤 일이 일어나고 있는 이유도 알려줄 수 있을 것입니다.
논문 주소: https://arxiv.org/pdf/2407.07612v1
전체적으로 이번 연구는 인공지능의 인과추론 능력을 크게 향상시켰으며, 미래 인공지능 발전의 새로운 방향과 가능성을 제시했다. Downcodes의 편집자는 이 기술이 더 많은 분야에 적용되어 AI가 인간을 더 잘 이해하고 서비스를 제공할 수 있기를 기대합니다.