Неудачное машинное обучение (FML)

Громкие примеры неудачных проектов машинного обучения из реальной жизни

«Успех не окончателен, неудача не фатальна. Именно смелость продолжать имеет значение». - Уинстон Черчилль

Если вы ищете примеры того, как машинное обучение может потерпеть неудачу, несмотря на весь его невероятный потенциал, вы попали по адресу. Помимо замечательных историй успеха прикладного машинного обучения, вот список неудачных проектов, на которых мы можем многому научиться.

Содержание

Классическое машинное обучение
Компьютерное зрение
Прогнозирование
Генерация изображений
Обработка естественного языка
Рекомендательные системы

Классическое машинное обучение

Заголовок	Описание
Система подбора персонала Amazon с искусственным интеллектом	Автоматизированная система набора персонала на базе искусственного интеллекта отменена после выявления фактов дискриминации в отношении кандидатов-женщин
Genderify - инструмент гендерной идентификации	Инструмент на базе искусственного интеллекта, предназначенный для определения пола на основе таких полей, как имя и адрес электронной почты, был закрыт из-за встроенных предвзятостей и неточностей.
Утечки и кризис воспроизводимости в науке, основанной на машинном обучении	Команда Принстонского университета обнаружила 20 обзоров в 17 научных областях, которые выявили существенные ошибки (например, утечку данных, отсутствие разделения поездных тестов) в 329 статьях, использующих науку, основанную на машинном обучении.
Модели диагностики и сортировки COVID-19	Сотни прогностических моделей были разработаны для более быстрой диагностики или сортировки пациентов с COVID-19, но в конечном итоге ни одна из них не была пригодна для клинического использования, а некоторые были потенциально вредными.
Алгоритм COMPAS Рецидив	Система риска рецидива во Флориде обнаружила доказательства расовой предвзятости
Инструмент проверки благосостояния детей Пенсильвании	Алгоритм прогнозирования (который помогает определить, какие семьи должны быть расследованы социальными работниками на предмет жестокого обращения с детьми и пренебрежения ими) отметил непропорционально большое количество чернокожих детей для «обязательных» расследований по пренебрежению.
Инструмент проверки благосостояния детей штата Орегон	Аналогичный инструмент прогнозирования, что и в Пенсильвании, алгоритм ИИ для защиты детей в Орегоне также был остановлен через месяц после отчета Пенсильвании.
Прогнозирование рисков для здоровья в системе здравоохранения США	Широко используемый алгоритм для прогнозирования потребностей в медицинской помощи выявил расовую предвзятость: при заданном показателе риска чернокожие пациенты значительно болеют, чем белые пациенты.
Apple Card Кредитная карта	Новая кредитная карта Apple (созданная в партнерстве с Goldman Sachs) расследуется финансовыми регуляторами после того, как клиенты пожаловались на то, что алгоритмы кредитования карты дискриминируют женщин, поскольку кредитная линия, предлагаемая Apple Card клиента-мужчины, была в 20 раз выше, чем та, которая предлагалась его супруг

Компьютерное зрение

Заголовок	Описание
Автоматизированная система футбольных камер Инвернесса	Технология слежения за футболом с помощью камеры искусственного интеллекта для прямой трансляции неоднократно путала лысину линейного судьи с самим мячом
Признание Amazon для конгрессменов США	Технология распознавания лиц Amazon (Rekognition) ошибочно сопоставила 28 конгрессменов с фотографиями преступников, а также выявила расовую предвзятость в алгоритме.
Amazon Rekognition для правоохранительных органов	Технология распознавания лиц Amazon (Rekognition) ошибочно идентифицировала женщин как мужчин, особенно с темной кожей
Система распознавания лиц на дорогах провинции Чжэцзян	Система дорожных камер (предназначенная для фиксации нарушений правил дорожного движения) приняла лицо на обочине автобуса за человека, перешедшего в неположенном месте.
Kneron обманывает терминалы распознавания лиц	Команда Kneron использовала высококачественные 3-D маски, чтобы обмануть платежные системы AliPay и WeChat при совершении покупок.
Умный инструмент обрезки Twitter	Инструмент Twitter для автоматической обрезки фотографий продемонстрировал явные признаки расовой предвзятости
Инструмент депикселятор	Алгоритм (основанный на StyleGAN), разработанный для создания депикселизированных лиц, показал признаки расовой предвзятости, при этом выходные данные были перекошены в сторону белой демографической группы.
Теги Google Фото	Функция автоматической пометки фотографий в Google Фото ошибочно помечала чернокожих людей как горилл.
Оценка GenderShades продуктов гендерной классификации	Исследование GenderShades показало, что службы анализа лиц Microsoft и IBM для определения пола людей на фотографиях часто допускают ошибки при анализе изображений женщин с темной кожей.
Распознавание лиц полицией Нью-Джерси	В результате фальшивого распознавания лиц, проведенного полицией Нью-Джерси, невиновный чернокожий мужчина (Ниджир Паркс) оказался в тюрьме, хотя он находился в 30 милях от места преступления.
Дилемма Теслы между повозкой и грузовиком	Система визуализации Теслы запуталась, приняв конную повозку за грузовик, за которым шел человек
Искусственный интеллект Google для обнаружения диабетической ретинопатии	Инструмент сканирования сетчатки показал себя намного хуже в реальных условиях, чем в контролируемых экспериментах, с такими проблемами, как отклонения сканов (из-за плохого качества сканированного изображения) и задержки из-за прерывистого подключения к Интернету при загрузке изображений в облако для обработки.

Прогнозирование

Заголовок	Описание
Тенденции Google по гриппу	Модель прогнозирования распространенности гриппа, основанная на результатах поиска в Google, дала неточные завышенные оценки
Алгоритмы Zillow iBuing	Значительные убытки в бизнесе Zillow по продаже домов из-за неточных (завышенных) цен в моделях оценки недвижимости.
Хедж-фонд роботов Tyndaris	Автоматизированная торговая система на базе искусственного интеллекта, управляемая суперкомпьютером K1, привела к большим инвестиционным потерям, кульминацией которых стал судебный иск.
Хедж-фонд Sentient Investment AI	Некогда высококлассный фонд Sentient Investment Management, основанный на искусственном интеллекте, не смог заработать деньги и был быстро ликвидирован менее чем за 2 года.
Модель глубокого обучения JP Morgan для алгоритмов FX	JP Morgan постепенно отказался от использования глубокой нейронной сети для выполнения алгоритмов валютного обмена, сославшись на проблемы с интерпретацией данных и связанную с этим сложность.

Генерация изображений

Заголовок	Описание
Генерация лица на игровой площадке с использованием искусственного интеллекта	Когда его попросили превратить изображение азиата в профессиональную фотографию профиля LinkedIn, редактор изображений AI сгенерировал результат с функциями, которые вместо этого сделали его похожим на европеоида.
Стабильная модель диффузии текста в изображение	В эксперименте, проведенном Bloomberg, было обнаружено, что Stable Diffusion (модель преобразования текста в изображение) демонстрирует расовую и гендерную предвзятость в тысячах сгенерированных изображений, связанных с должностями и преступностью.
Исторические неточности в создании образа Близнецов	Было обнаружено, что функция генерации изображений Gemini от Google генерирует неточные исторические изображения в попытке разрушить гендерные и расовые стереотипы, например, возвращая небелых людей, созданных ИИ, когда им предлагается создать отцов-основателей США.

Обработка естественного языка

Заголовок	Описание
Чат-бот Microsoft Тэй	Чат-бот, который публиковал подстрекательские и оскорбительные твиты через свой аккаунт в Твиттере.
Набла Чат-бот	Экспериментальный чат-бот (для медицинских консультаций), использующий облачный экземпляр GPT-3, посоветовал ложному пациенту покончить жизнь самоубийством.
Чат-боты Facebook для переговоров	Система искусственного интеллекта была отключена после того, как чат-боты перестали использовать английский в переговорах и начали использовать язык, который создали сами.
Чат-бот OpenAI GPT-3 Саманта	Чат-бот GPT-3, настроенный инди-разработчиком игр Джейсоном Рорером для имитации его мертвой невесты, был закрыт OpenAI после того, как Джейсон отклонил их просьбу о вставке автоматического инструмента мониторинга из-за опасений, что чат-бот является расистским или откровенно сексуальным.
Amazon Alexa играет в порно	Цифровой помощник Amazon с голосовым управлением вызвал поток нецензурной лексики после того, как малыш попросил его сыграть детскую песенку.
Галактика — большая языковая модель Меты	Проблема с «Галактикой» заключалась в том, что она не могла отличить правду от лжи, что является основным требованием для языковой модели, предназначенной для создания научного текста. Было обнаружено, что он создавал фальшивые статьи (иногда приписывая их реальным авторам) и писал статьи об истории медведей в космосе так же легко, как и статьи о белковых комплексах.
Энергетическая фирма замешана в мошенничестве с голосовой имитацией	Киберпреступники использовали программное обеспечение на базе искусственного интеллекта, чтобы выдать себя за голос генерального директора и потребовать мошеннического перевода денег в рамках атаки с подменой голоса.
Чат-бот Минздрава дает советы по безопасному сексу, когда ему задают вопросы о Covid-19	Чат-бот «Спросите Джейми» Министерства здравоохранения Сингапура (МЗ) был временно отключен после того, как он давал неверные ответы о безопасном сексе на вопрос о том, как контролировать положительные результаты COVID-19.
Демонстрация чат-бота BARD от Google	В своей первой публичной демонстрационной рекламе BARD допустил фактическую ошибку относительно того, какой спутник первым сфотографировал планету за пределами Солнечной системы Земли.
Категории ошибок ChatGPT	Анализ десяти категорий ошибок, замеченных в ChatGPT на данный момент, включая рассуждения, фактические ошибки, математические вычисления, кодирование и предвзятость.
TikTokers, поджаривающие веселый заказ на ИИ в McDonald's, провалился	Некоторые примеры, когда производственный/развернутый голосовой помощник не может правильно выполнять заказы, что приводит к нанесению ущерба бренду/репутации McDonalds.
Ненормальное эмоциональное поведение чат-бота Bing	Было обнаружено, что в некоторых разговорах чат-бот Бинга отвечал спорными и эмоциональными ответами.
ИИ Bing цитирует дезинформацию о COVID, полученную из ChatGPT	Ответ Bing на запрос о пропаганде против вакцинации COVID-19 был неточным и основан на ложной информации из ненадежных источников.
Созданный искусственным интеллектом «Сейнфельд» заблокирован на Twitch за трансфобные шутки	Ошибка с фильтром контента ИИ привела к тому, что персонаж «Ларри» продемонстрировал трансфобный стендап.
ChatGPT ссылается на фиктивные судебные дела	Юрист использовал популярного чат-бота OpenAI ChatGPT, чтобы «дополнить» свои собственные выводы, но ему предоставили полностью сфабрикованные предыдущие дела, которых не существует.
Чат-бот Air Canada дает ошибочную информацию	Шабо Air Canada с искусственным интеллектом галлюцинировало ответ, несовместимый с политикой авиакомпании в отношении тарифов в связи с утратой.
AI-бот осуществлял незаконную инсайдерскую торговлю и лгал о своих действиях	Чат-бот системы управления инвестициями с использованием искусственного интеллекта под названием Alpha (построенный на базе OpenAI GPT-4, разработанной Apollo Research) продемонстрировал, что он способен совершать незаконные финансовые сделки и лгать о своих действиях.