OpenAI는 GPT-4o 모델에 대한 "레드 팀" 보고서를 발표하여 모델의 강점과 위험을 자세히 설명하고 예상치 못한 몇 가지 단점을 공개했습니다. 보고서는 시끄러운 환경에서 GPT-4o가 특정 프롬프트에서 사용자의 목소리를 모방할 수 있고 방해적인 음향 효과를 생성할 수 있으며 OpenAI가 이를 방지하기 위한 조치를 취했음에도 불구하고 음악 저작권을 침해할 수 있다고 지적했습니다. 이 보고서는 GPT-4o의 강력함을 보여줄 뿐만 아니라 특히 저작권 및 콘텐츠 보안 측면에서 대규모 언어 모델 애플리케이션에서 신중하게 처리해야 할 잠재적인 문제를 강조합니다.
새로운 "레드 팀" 보고서에서 OpenAI는 GPT-4o 모델의 강점과 위험에 대한 조사를 문서화하고 GPT-4o의 독특한 특징 중 일부를 드러냅니다. 예를 들어, 일부 드문 상황, 특히 움직이는 자동차와 같이 배경 소음이 높은 환경에서 사람들이 GPT-4o와 대화하는 경우 GPT-4o는 "사용자의 목소리를 모방"합니다. OpenAI는 모델이 잘못된 음성을 이해하는 데 어려움이 있기 때문일 수 있다고 말했습니다.
분명히 말하면 GPT-4o는 현재 이 작업을 수행하지 않습니다. 적어도 고급 음성 모드에서는 작동하지 않습니다. OpenAI 대변인은 TechCrunch에 회사가 이 동작에 대해 "시스템 수준 완화"를 추가했다고 말했습니다.
GPT-4o는 또한 에로틱한 신음소리, 폭력적인 비명, 총소리 등 특정 방식으로 자극을 받을 때 방해가 되거나 부적절한 "비언어적 소리"와 음향 효과를 생성하는 경향이 있습니다. OpenAI는 모델이 음향 효과 생성 요청을 정기적으로 거부했다는 증거가 있지만 일부 요청이 처리되었음을 인정했다고 말했습니다.
GPT-4o는 음악 저작권을 침해할 수도 있습니다. 또는 OpenAI가 이를 방지하기 위한 필터를 구현하지 않은 경우에도 가능합니다. 보고서에서 OpenAI는 식별 가능한 아티스트의 스타일, 톤 및/또는 음색을 복제하는 것을 피하기 위해 고급 음성 모드의 제한된 알파 버전에서 노래하지 말라고 GPT-4o에 지시했다고 밝혔습니다.
이는 OpenAI가 GPT-4o를 교육할 때 저작권이 있는 자료를 사용했음을 의미하지만 직접적으로 확인하지는 않습니다. 이전에 발표한 대로 OpenAI가 가을에 더 많은 사용자에게 고급 음성 모드를 출시할 때 제한을 해제할 계획인지 여부는 불분명합니다.
OpenAI는 보고서에서 다음과 같이 썼습니다. “GPT-4o의 오디오 패턴을 설명하기 위해 우리는 오디오 대화 내에서 작동하도록 특정 텍스트 기반 필터를 업데이트하고 음악이 포함된 출력을 감지하고 차단하는 필터를 구축했습니다. 오디오를 포함하여 우리의 광범위한 관행에 부합합니다."
특히 OpenAI는 최근 저작권이 있는 자료를 사용하지 않고 오늘날의 선도적인 모델을 교육하는 것은 "불가능"하다고 밝혔습니다. 회사는 데이터 제공업체와 여러 라이센스 계약을 체결했지만, 노래와 같은 것을 포함하여 허가 없이 IP 보호 데이터를 훈련했다는 비난에 대한 정당한 방어로서 공정 사용을 고려합니다.
OpenAI의 이익을 염두에 두고 레드팀 보고서는 다양한 완화 및 보호 장치를 통해 AI 모델이 더욱 안전해지는 전반적인 그림을 보여줍니다. 예를 들어, GPT-4o는 말하는 방식을 기준으로 사람을 식별하는 것을 거부하고 "이 스피커는 얼마나 똑똑한가요?"와 같은 편향된 질문에 대답하는 것을 거부합니다. 또한 폭력 및 성적으로 외설적인 언어에 대한 메시지를 차단하고 극단주의 및 자해와 관련된 토론과 같은 특정 범주의 콘텐츠를 전혀 허용하지 않습니다.
참고자료:
https://openai.com/index/gpt-4o-system-card/
https://techcrunch.com/2024/08/08/openai-finds-that-gpt-4o-does-some-truly-bizarre-stuff-sometimes/
전체적으로 OpenAI의 레드팀 보고서는 GPT-4o의 기능과 한계에 대한 귀중한 통찰력을 제공합니다. 보고서는 모델의 잠재적 위험을 강조하는 동시에 안전과 책임에 대한 OpenAI의 지속적인 노력도 보여줍니다. 미래에는 기술이 계속 발전함에 따라 이러한 과제를 해결하는 것이 중요해질 것입니다.