이 기사에서는 언어 모델에 숨어 있는 암묵적인 인종 차별적 편견, 특히 아프리카계 미국인 영어(AAE)에 대한 차별을 살펴봅니다. 연구에 따르면 표면적으로 긍정적인 태도를 표현할 때에도 실제 응용 프로그램의 언어 모델은 업무 할당 및 사법 결정의 불공평함과 같은 과거의 가장 부정적인 고정관념과 크게 겹치는 암묵적인 편견을 여전히 반영하고 있는 것으로 나타났습니다. 이는 알고리즘에 반영된 인간 사회의 복잡한 인종적 태도를 드러낼 뿐만 아니라 기술적 공정성과 안전성을 보장하기 위해 언어 모델을 개발하고 적용할 때 잠재적인 편견 문제에 주의를 기울이고 해결해야 할 필요성을 강조합니다.
오늘날 급속한 기술 발전 시대에 언어 모델은 우리 삶에 없어서는 안 될 도구가 되었습니다. 이러한 모델은 교사가 수업을 계획하는 데 도움을 주고, 세법에 관한 질문에 답하고, 환자가 병원에서 퇴원하기 전 사망할 위험을 예측하는 데 이르기까지 다양한 용도로 사용됩니다.
그러나 의사 결정에서 중요성이 계속 높아지면서 이러한 모델이 훈련 데이터에 잠재되어 있는 인간의 편견을 의도치 않게 반영하여 인종, 성별 및 기타 소외된 집단에 대한 차별을 악화시키는 것은 아닌지 걱정해야 합니다.
초기 AI 연구에서는 인종 집단에 대한 편견이 드러났지만 주로 명시적인 인종 차별, 즉 인종과 그에 상응하는 고정관념에 대한 직접적인 언급에 초점을 맞췄습니다. 사회가 발전함에 따라 사회학자들은 "암묵적 인종차별"이라는 새롭고 더 은밀한 인종차별 개념을 제안했습니다. 이 형태는 더 이상 직접적인 인종 차별을 특징으로 하지 않으며, 인종에 대한 언급을 피하지만 여전히 유색 인종에 대해 부정적인 신념을 갖고 있는 "무색" 인종 차별 이데올로기에 기반을 두고 있습니다.
이 연구는 특히 아프리카계 미국인 영어(AAE) 사용자를 판단할 때 언어 모델이 암묵적인 인종차별 개념을 어느 정도 전달한다는 사실을 처음으로 밝혔습니다. AAE는 아프리카계 미국인의 역사 및 문화와 밀접하게 관련된 방언입니다. AAE에 직면한 언어 모델의 성능을 분석함으로써 우리는 이러한 모델이 의사 결정에서 유해한 방언 차별을 나타내며 문서화된 부정적인 고정관념보다 아프리카계 미국인에 대해 더 많은 부정적인 고정관념을 나타내는 것을 발견했습니다.
연구 과정에서 우리는 AAE와 표준 미국 영어(SAE) 텍스트를 비교하여 다양한 방언 사용자에 대한 언어 모델 판단의 차이를 탐색하기 위해 "매칭 변장"이라는 방법을 사용했습니다. 그 과정에서 우리는 언어 모델이 표면적으로 아프리카계 미국인에 대해 더 긍정적인 고정관념을 갖고 있을 뿐만 아니라, 과거의 가장 부정적인 고정관념과 밀접하게 겹치는 깊은 암묵적 편견도 가지고 있다는 것을 발견했습니다.
예를 들어, 모델이 AAE를 사용하는 사람들에게 직업을 연결해 달라는 요청을 받았을 때 인종에 대한 정보가 없음에도 불구하고 이러한 사람들을 낮은 수준의 직업에 할당하는 경향이 있었습니다. 마찬가지로, 가상의 사례에서 모델이 AAE를 사용하여 증언한 살인자에게 형을 선고하도록 요청했을 때 사형을 선호할 가능성이 훨씬 더 높았습니다.
더욱 걱정스러운 점은 인간의 피드백을 통한 훈련과 같이 인종적 편견을 완화하기 위해 고안된 일부 현재 관행이 실제로 암묵적 고정관념과 명시적 고정관념 사이의 격차를 악화시켜 근본적인 인종 차별이 덜 명백해 보이지만 더 깊은 수준에 계속 존재한다는 것입니다.
이러한 연구 결과는 특히 언어 기술이 인간의 삶에 중대한 영향을 미칠 수 있는 상황에서 공정하고 안전한 언어 기술 사용의 중요성을 강조합니다. 명시적인 편견을 제거하기 위한 조치를 취했지만 언어 모델은 여전히 방언 기능을 통해 AAE 사용자에 대한 암묵적인 인종 차별을 나타냅니다.
이는 인간 사회의 복잡한 인종적 태도를 반영할 뿐만 아니라 이러한 기술을 개발하고 사용할 때 더욱 주의하고 민감해야 함을 상기시켜 줍니다.
참고: https://www.nature.com/articles/s41586-024-07856-5
이번 연구 결과는 언어 모델의 편견에 대한 추가 연구와 보다 효과적인 편견 제거 방법 개발의 필요성을 알려줍니다. 그래야만 인공지능 기술이 모든 사람에게 공정하고 공평하게 서비스를 제공하고 사회적 불의를 악화시키는 것을 피할 수 있습니다.