이미지 출처: 스페인어 "El Pais" 웹사이트
블랙박스라고 하면 향수가 가득한 비행기나 소극장에서 비행 데이터를 기록하는 데 사용되는 장비를 떠올리는 사람이 많다. 하지만 인공지능(AI) 분야에서 블랙박스 역시 무시할 수 없는 중요한 용어다.
스페인의 엘 파이스(El Pais)는 AI 신경망이 구동되면 최고 수준의 연구원들조차 내부 동작에 대해서는 아무것도 모른다고 지적했다. 여기서 논의는 생물학에 관한 것이 아니라 AI 알고리즘, 특히 뉴런 간의 연결을 모방하는 딥러닝 기반 알고리즘에 관한 것입니다. 이러한 시스템은 블랙박스와 같아서 데이터 과학자, 학계 최고의 인재, OpenAI 및 Google의 노벨상 수상 엔지니어가 내부 비밀을 들여다보기가 어렵습니다.
모델과 데이터가 불투명함
사이언티픽 아메리칸(Scientific American) 매거진은 AI 블랙박스란 내부 작동이 사용자에게 전혀 보이지 않는 AI 시스템을 말한다고 보도했다. 사용자는 이러한 시스템에 정보를 입력하고 출력을 얻을 수 있지만 코드를 검사하거나 출력을 생성하는 논리를 이해할 수는 없습니다.
AI의 주요 분야인 머신러닝은 ChatGPT와 같은 생성적 AI 시스템의 초석입니다. 머신러닝은 알고리즘, 훈련 데이터, 모델이라는 세 가지 핵심 부분으로 구성됩니다. 알고리즘은 일련의 프로그램 명령입니다. 기계 학습에서 알고리즘은 대량의 훈련 데이터를 통해 데이터의 패턴을 인식하는 방법을 학습합니다. 머신러닝 알고리즘이 학습을 완료하면 그 제품이 머신러닝 모델이 되며, 사용자가 실제로 사용하는 부분이기도 합니다.
머신러닝 시스템의 세 부분 중 하나라도 숨겨질 수 있습니다. 즉, 블랙박스에 배치될 수 있습니다. 일반적으로 알고리즘은 공개적으로 사용 가능합니다. 그러나 지적 재산을 보호하기 위해 AI 소프트웨어 개발자는 모델이나 훈련 데이터를 블랙박스에 넣는 경우가 많습니다.
모델 아키텍처가 너무 복잡해서 설명하기가 어렵습니다.
많은 AI 알고리즘의 이면에 있는 수학은 잘 이해되어 있지만, 이러한 알고리즘으로 형성된 네트워크가 생성하는 동작은 파악하기 어렵습니다.
ChatGPT, Gemini, Claude, Llama 및 DALL-E와 같은 이미지 생성기뿐만 아니라 얼굴 인식 애플리케이션 및 콘텐츠 추천 엔진을 포함하여 신경망에 의존하는 모든 시스템이 이러한 문제에 직면합니다.
이와 대조적으로 의사결정 트리나 선형 회귀(의학 및 경제학과 같은 분야에서 일반적으로 사용됨)와 같은 다른 AI 알고리즘은 해석하기가 더 쉽습니다. 그들의 의사결정 과정은 이해하고 시각화하기 쉽습니다. 엔지니어는 의사결정 트리의 분기를 따라가며 특정 결과가 어떻게 도출되는지 명확하게 확인할 수 있습니다.
이러한 명확성은 AI에 투명성을 주입하고 알고리즘을 사용하는 사람들에게 안전과 보안을 제공하기 때문에 중요합니다. EU 인공지능법이 투명하고 설명 가능한 시스템의 중요성을 강조한다는 점은 주목할 가치가 있습니다. 그러나 신경망의 아키텍처 자체가 이러한 투명성을 방해합니다. 이러한 알고리즘의 블랙박스 문제를 이해하려면 상호 연결된 뉴런 또는 노드의 네트워크를 상상해야 합니다.
스페인 국립연구위원회 AI 연구소 교수인 후안 안토니오(Juan Antonio)는 네트워크에 데이터를 공급하면 노드의 값이 일련의 계산을 촉발한다고 설명했습니다. 정보는 숫자 형태로 첫 번째 노드에서 후속 노드로 전파되며, 각 노드는 각 연결의 가중치(즉, 숫자 값)를 고려하여 숫자를 계산하여 모든 연결에 보냅니다. 이 정보를 수신하는 새 노드는 다른 숫자를 계산합니다.
현재 딥러닝 모델에는 수천에서 수백만 개의 매개변수가 포함되어 있다는 점은 주목할 가치가 있습니다. 이러한 매개변수는 학습 후 노드 및 연결 수를 나타내며, 그 수가 크고 다양하므로 의미 있는 방정식을 수동으로 도출하기가 어렵습니다.
업계 추정에 따르면 GPT-4에는 거의 1조 8천억 개의 매개변수가 있습니다. 이 분석에 따르면 각 언어 모델은 약 2,200억 개의 매개변수를 사용합니다. 이는 질문을 받을 때마다 알고리즘의 응답에 영향을 미칠 수 있는 변수가 2,200억 개 있다는 것을 의미합니다.
기술회사들이 블랙박스를 열려고 시도하다
체계적 불투명성은 편견을 바로잡는 것을 더 어렵게 만들고 불신을 조장합니다. 현재 AI 분야의 주요 업체들은 이러한 한계를 인식하고 자사 모델이 어떻게 작동하는지 더 잘 이해하기 위해 적극적으로 연구를 진행하고 있습니다. 예를 들어 OpenAI는 신경망을 사용해 다른 신경망을 관찰하고 분석하고, Anthropic은 노드 연결과 정보 전파 회로를 연구합니다.
블랙박스를 디코딩하는 것은 AI가 생성한 잘못된 추론과 오해의 소지가 있는 정보를 방지하고 일관성 없는 답변 문제를 해결할 수 있는 언어 모델에 큰 이점이 됩니다. 그러나 기술 회사는 네트워크의 내부 작동을 이해하지 못한 채 광범위한 교육을 통해 모델을 배치한 다음 테스트를 통과한 후 제품을 출시하는 경우가 많습니다. 이 접근 방식에는 Google Gemini가 처음 출시되었을 때 잘못된 이미지를 생성하는 등의 문제가 있을 수도 있습니다.
블랙박스의 반대 개념은 유리박스다. AI 유리 상자는 알고리즘과 훈련 데이터, 모델을 누구나 볼 수 있다는 뜻이다. 블랙박스를 해독하는 궁극적인 목표는 AI에 대한 통제력을 유지하는 것입니다. 특히 AI가 민감한 영역에 배포되는 경우 더욱 그렇습니다. 기계 학습 모델이 인간의 건강이나 재정 상황을 진단했다고 가정할 때, 모델이 블랙박스가 되기를 원합니까, 아니면 유리 상자가 되기를 원합니까? 대답은 분명합니다. 이는 과학적 호기심뿐만 아니라 사용자 개인 정보 보호를 위해 알고리즘의 내부 작동에 중점을 두는 것입니다.