Источник изображения: испанский сайт El Pais.
Когда речь заходит о черных ящиках, многие люди с ностальгией вспоминают оборудование, используемое для записи полетных данных в самолетах, или небольшие кинотеатры. Однако в области искусственного интеллекта (ИИ) «черный ящик» также является важным термином, который нельзя игнорировать.
Испанская газета El Pais отметила, что когда работает нейронная сеть искусственного интеллекта, даже самые старшие исследователи ничего не знают о ее внутренних операциях. Речь здесь идет не о биологии, а об алгоритмах ИИ, особенно основанных на глубоком обучении и имитирующих связи между нейронами. Эти системы подобны черным ящикам, и специалистам по обработке данных, выдающимся научным работникам и нобелевским лауреатам из OpenAI и Google трудно заглянуть в их внутренние секреты.
Модель и данные непрозрачны
Журнал «Scientific American» сообщил, что «черный ящик» ИИ — это система ИИ, внутренняя работа которой совершенно невидима для пользователей. Пользователи могут вводить информацию в эти системы и получать выходные данные, но они не могут проверять свой код или понимать логику, которая формирует выходные данные.
Машинное обучение, как основная отрасль искусственного интеллекта, является краеугольным камнем генеративных систем искусственного интеллекта, таких как ChatGPT. Машинное обучение состоит из трех основных частей: алгоритма, обучающих данных и модели. Алгоритм — это серия программных инструкций. В машинном обучении алгоритм учится распознавать закономерности в данных с помощью больших объемов обучающих данных. Когда алгоритм машинного обучения завершает обучение, продуктом становится модель машинного обучения, которую фактически используют пользователи.
Любую из этих трёх частей системы машинного обучения можно спрятать, то есть поместить в чёрный ящик. Обычно алгоритмы общедоступны. Но для защиты интеллектуальной собственности разработчики программного обеспечения для искусственного интеллекта часто помещают модели или обучающие данные в черные ящики.
Архитектура модели настолько сложна, что ее сложно объяснить.
Хотя математика, лежащая в основе многих алгоритмов ИИ, хорошо понятна, поведение сетей, сформированных этими алгоритмами, неуловимо.
С этой проблемой сталкиваются ChatGPT, Gemini, Claude, Llama и любой генератор изображений, такой как DALL-E, а также любая система, основанная на нейронных сетях, включая приложения для распознавания лиц и механизмы рекомендации контента.
Напротив, другие алгоритмы ИИ, такие как деревья решений или линейная регрессия (обычно используемые в таких областях, как медицина и экономика), более интерпретируемы. Их процесс принятия решений легко понять и визуализировать. Инженеры могут следить за ветвями дерева решений и четко видеть, как достигается конкретный результат.
Эта ясность имеет решающее значение, поскольку она обеспечивает прозрачность ИИ и безопасность для тех, кто использует алгоритмы. Стоит отметить, что Закон ЕС об искусственном интеллекте подчеркивает важность наличия прозрачных и объяснимых систем. Однако сама архитектура нейронных сетей препятствует такой прозрачности. Чтобы понять проблему черного ящика этих алгоритмов, необходимо представить себе сеть взаимосвязанных нейронов или узлов.
Хуан Антонио, профессор Института искусственного интеллекта Испанского национального исследовательского совета, объяснил, что когда вы передаете данные в сеть, значения в узлах запускают серию вычислений. Информация распространяется от первых узлов в числовой форме к последующим узлам, каждый узел вычисляет число и отправляет его всем соединениям с учетом веса (т.е. числового значения) каждого соединения. Новый узел, получивший эту информацию, рассчитает другое число.
Стоит отметить, что современные модели глубокого обучения содержат от тысяч до миллионов параметров. Эти параметры представляют собой количество узлов и соединений после обучения, которое велико и разнообразно, что затрудняет вывод значимых уравнений вручную.
По оценкам отрасли, GPT-4 имеет около 1,8 триллиона параметров. Согласно этому анализу, каждая языковая модель будет использовать примерно 220 миллиардов параметров. Это означает, что каждый раз, когда задается вопрос, существует 220 миллиардов переменных, которые могут повлиять на ответ алгоритма.
Технологические компании пытаются открыть черные ящики
Системная непрозрачность затрудняет исправление предубеждений и подогревает недоверие. В настоящее время крупные игроки в сфере ИИ знают об этом ограничении и активно проводят исследования, чтобы лучше понять, как работают их модели. Например, OpenAI использует нейронную сеть для наблюдения и анализа другой нейронной сети, а Anthropic изучает соединения узлов и схемы распространения информации.
Расшифровка черного ящика приносит большую пользу языковой модели, поскольку позволяет избежать ошибочных рассуждений и вводящей в заблуждение информации, генерируемой ИИ, а также решить проблему противоречивых ответов. Однако, не понимая внутренней работы сети, технологические компании часто подвергают модели тщательному обучению, а затем выпускают продукты после прохождения тестов. Этот подход также может иметь проблемы, например, Google Gemini генерирует неправильные изображения при первом выпуске.
Противоположностью черного ящика является стеклянный ящик. Стеклянный ящик ИИ означает, что его алгоритмы, обучающие данные и модели может увидеть каждый. Конечная цель расшифровки черных ящиков — сохранить контроль над ИИ, особенно когда он развернут в чувствительных областях. Предположим, что модель машинного обучения поставила диагноз здоровья или финансового положения человека. Кто бы хотел, чтобы модель была черным ящиком или стеклянным ящиком? Ответ очевиден. Это не только пристальное внимание к внутренней работе алгоритма, не только из научного любопытства, но и для защиты конфиденциальности пользователей.