Fehlgeschlagenes maschinelles Lernen (FML)

Hochkarätige Beispiele aus der Praxis für gescheiterte Machine-Learning-Projekte

„Erfolg ist nicht endgültig, Misserfolg ist nicht tödlich. Was zählt, ist der Mut zum Weitermachen.“ - Winston Churchill

Wenn Sie nach Beispielen suchen, wie ML trotz seines unglaublichen Potenzials scheitern kann, sind Sie hier richtig. Neben den wunderbaren Erfolgsgeschichten des angewandten maschinellen Lernens finden Sie hier eine Liste gescheiterter Projekte, aus denen wir viel lernen können.

Inhalt

Klassisches maschinelles Lernen
Computer Vision
Prognose
Bilderzeugung
Verarbeitung natürlicher Sprache
Empfehlungssysteme

Klassisches maschinelles Lernen

Titel	Beschreibung
Amazon AI-Rekrutierungssystem	KI-gestütztes automatisiertes Rekrutierungssystem wurde eingestellt, nachdem Beweise für die Diskriminierung weiblicher Kandidaten vorliegen
Genderify – Tool zur Geschlechtsidentifizierung	Das KI-gestützte Tool zur Identifizierung des Geschlechts anhand von Feldern wie Name und E-Mail-Adresse wurde aufgrund eingebauter Vorurteile und Ungenauigkeiten eingestellt
Leckage und die Reproduzierbarkeitskrise in der ML-basierten Wissenschaft	Ein Team der Princeton University hat 20 Rezensionen aus 17 wissenschaftlichen Bereichen gefunden, die erhebliche Fehler (z. B. Datenlecks, keine Aufteilung der Zugtests) in 329 Arbeiten entdeckten, die ML-basierte Wissenschaft nutzen
COVID-19-Diagnose- und Triage-Modelle	Hunderte von Vorhersagemodellen wurden entwickelt, um COVID-19-Patienten schneller zu diagnostizieren oder zu triagieren, aber letztendlich war keines davon für den klinischen Einsatz geeignet und einige waren potenziell schädlich
COMPAS-Rückfallalgorithmus	Floridas Rückfallrisikosystem fand Hinweise auf rassistische Voreingenommenheit
Screening-Tool für das Wohlergehen von Kindern in Pennsylvania	Der Vorhersagealgorithmus (der dabei hilft, zu ermitteln, welche Familien von Sozialarbeitern wegen Kindesmissbrauchs und Vernachlässigung untersucht werden müssen) hat eine unverhältnismäßig große Anzahl schwarzer Kinder für „obligatorische“ Vernachlässigungsuntersuchungen gekennzeichnet.
Oregon-Screening-Tool zum Wohlergehen von Kindern	Ein ähnliches Vorhersagetool wie in Pennsylvania, der KI-Algorithmus für das Kindeswohl in Oregon, wurde ebenfalls einen Monat nach dem Pennsylvania-Bericht eingestellt
Prognose des Gesundheitsrisikos des US-amerikanischen Gesundheitssystems	Ein weit verbreiteter Algorithmus zur Vorhersage des Gesundheitsbedarfs zeigte eine rassistische Voreingenommenheit, bei der schwarze Patienten bei einem bestimmten Risikowert erheblich kränker sind als weiße Patienten
Apple Card-Kreditkarte	Die neue Kreditkarte von Apple (in Zusammenarbeit mit Goldman Sachs entwickelt) wird von Finanzaufsichtsbehörden untersucht, nachdem sich Kunden darüber beschwert hatten, dass die Kreditalgorithmen der Karte Frauen diskriminierten, da der Kreditrahmen, den die Apple Card eines männlichen Kunden bot, 20-mal höher war als der Kreditrahmen, der ihm angeboten wurde Ehepartner

Computer Vision

Titel	Beschreibung
Automatisiertes Fußballkamerasystem von Inverness	KI-Kamera-Fußball-Tracking-Technologie für Live-Streaming verwechselte wiederholt die Glatze eines Linienrichters mit dem Ball selbst
Amazon-Anerkennung für US-Kongressabgeordnete	Die Gesichtserkennungstechnologie von Amazon (Rekognition) ordnete 28 Kongressabgeordneten fälschlicherweise Fahndungsfotos von Kriminellen zu und deckte gleichzeitig rassistische Vorurteile im Algorithmus auf
Amazon-Anerkennung für die Strafverfolgung	Die Gesichtserkennungstechnologie von Amazon (Rekognition) identifizierte Frauen fälschlicherweise als Männer, insbesondere solche mit dunklerer Haut
Zhejiang-Verkehrsgesichtserkennungssystem	Ein Verkehrskamerasystem (zur Erfassung von Verkehrsdelikten) verwechselte ein Gesicht an der Seite eines Busses mit jemandem, der über die Straße ging
Kneron trickst Gesichtserkennungsterminals aus	Das Team von Kneron nutzte hochwertige 3-D-Masken, um die Zahlungssysteme AliPay und WeChat zu täuschen und Einkäufe zu tätigen
Twitter-Tool zum intelligenten Zuschneiden	Das automatische Zuschneidetool von Twitter für die Fotobewertung zeigte deutliche Anzeichen rassistischer Voreingenommenheit
Depixelator-Tool	Der Algorithmus (basierend auf StyleGAN), der zur Generierung entpixelter Gesichter entwickelt wurde, zeigte Anzeichen von rassistischer Voreingenommenheit, wobei die Bildausgabe auf die weiße Bevölkerungsgruppe ausgerichtet war
Google Fotos-Tagging	Die automatische Foto-Tagging-Funktion in Google Fotos bezeichnete schwarze Menschen fälschlicherweise als Gorillas
GenderShades-Bewertung von Geschlechtsklassifizierungsprodukten	Die Untersuchungen von GenderShades ergaben, dass die Gesichtsanalysedienste von Microsoft und IBM zur Identifizierung des Geschlechts von Personen auf Fotos bei der Analyse von Bildern von Frauen mit dunkler Haut häufig Fehler machten
Gesichtserkennung der Polizei von New Jersey	Ein falscher Gesichtserkennungsabgleich durch die Polizei von New Jersey brachte einen unschuldigen Schwarzen (Nijeer Parks) ins Gefängnis, obwohl er 30 Meilen vom Tatort entfernt war
Teslas Dilemma zwischen einem Pferdewagen und einem Lastwagen	Das Visualisierungssystem von Tesla geriet durcheinander, als es eine Pferdekutsche fälschlicherweise für einen Lastwagen hielt, hinter dem ein Mann ging
Googles KI zur Erkennung diabetischer Retinopathie	Das Retina-Scan-Tool schnitt unter realen Bedingungen deutlich schlechter ab als in kontrollierten Experimenten, mit Problemen wie abgelehnten Scans (aufgrund schlechter Scan-Bildqualität) und Verzögerungen durch intermittierende Internetverbindung beim Hochladen von Bildern in die Cloud zur Verarbeitung

Prognose

Titel	Beschreibung
Google-Grippe-Trends	Das auf Google-Suchen basierende Modell zur Vorhersage der Grippeprävalenz führte zu ungenauen Überschätzungen
Zillow iBuying-Algorithmen	Erhebliche Verluste im Home-Flipping-Geschäft von Zillow aufgrund ungenauer (überschätzter) Preise aus Immobilienbewertungsmodellen
Tyndaris Robot Hedge Fund	Ein KI-gestütztes automatisiertes Handelssystem, das von einem Supercomputer namens K1 gesteuert wird, führte zu großen Investitionsverlusten, die in einem Rechtsstreit gipfelten
Sentient Investment AI Hedge Fund	Der einst erfolgreiche, KI-gestützte Fonds von Sentient Investment Management konnte keinen Gewinn erzielen und wurde in weniger als zwei Jahren umgehend liquidiert
JP Morgans Deep-Learning-Modell für FX-Algorithmen	JP Morgan hat ein tiefes neuronales Netzwerk für die Ausführung von Devisenalgorithmen auslaufen lassen und dabei Probleme bei der Dateninterpretation und die damit verbundene Komplexität angeführt.

Bilderzeugung

Titel	Beschreibung
Spielplatz-KI-Gesichtsgenerierung	Als man ihn bat, das Bild eines asiatischen Porträts in ein professionelles LinkedIn-Profilfoto umzuwandeln, generierte der KI-Bildeditor eine Ausgabe mit Funktionen, die das Bild stattdessen kaukasisch aussehen ließen
Stabiles Text-zu-Bild-Diffusionsmodell	In einem von Bloomberg durchgeführten Experiment wurde festgestellt, dass Stable Diffusion (Text-zu-Bild-Modell) in den Tausenden generierten Bildern im Zusammenhang mit Berufsbezeichnungen und Kriminalität rassistische und geschlechtsspezifische Vorurteile aufwies
Historische Ungenauigkeiten bei der Erzeugung von Zwillingsbildern	Es wurde festgestellt, dass Googles Gemini-Bildgenerierungsfunktion ungenaue historische Bilddarstellungen erzeugt, um Geschlechter- und Rassenstereotypen zu unterwandern, wie z. B. die Rückkehr nicht-weißer, von der KI generierter Menschen, wenn sie dazu aufgefordert werden, die Gründerväter der USA zu generieren

Verarbeitung natürlicher Sprache

Titel	Beschreibung
Microsoft Tay Chatbot	Chatbot, der über seinen Twitter-Account hetzerische und beleidigende Tweets veröffentlichte
Nabla Chatbot	Ein experimenteller Chatbot (für medizinische Beratung), der eine in der Cloud gehostete Instanz von GPT-3 nutzte, riet einem Scheinpatienten, Selbstmord zu begehen
Facebook-Verhandlungs-Chatbots	Das KI-System wurde abgeschaltet, nachdem die Chatbots in ihren Verhandlungen kein Englisch mehr verwendeten und stattdessen eine von ihnen selbst erstellte Sprache verwendeten
OpenAI GPT-3 Chatbot Samantha	Ein GPT-3-Chatbot, der vom Indie-Spieleentwickler Jason Rohrer so optimiert wurde, dass er seine tote Verlobte nachahmt, wurde von OpenAI abgeschaltet, nachdem Jason deren Antrag auf Einbindung eines automatisierten Überwachungstools abgelehnt hatte, weil er befürchtete, der Chatbot sei rassistisch oder offen sexuell
Amazon Alexa spielt Pornos	Der sprachaktivierte digitale Assistent von Amazon löste einen Schwall anzüglicher Sprache aus, nachdem ein Kleinkind ihn gebeten hatte, ein Kinderlied zu spielen.
Galactica – Metas großes Sprachmodell	Ein Problem bei Galactica bestand darin, dass sie Wahrheit und Falschheit nicht unterscheiden konnte, eine Grundvoraussetzung für ein Sprachmodell zur Generierung wissenschaftlicher Texte. Es stellte sich heraus, dass es sich dabei um gefälschte Papiere handelte (manchmal wurden sie echten Autoren zugeschrieben), und es entstanden ebenso leicht Artikel über die Geschichte der Bären im Weltraum wie über Proteinkomplexe.
Energieunternehmen im Bereich Stimmmimikry-Betrug	Cyberkriminelle nutzten KI-basierte Software, um im Rahmen des Voice-Spoofing-Angriffs die Stimme eines CEOs nachzuahmen und eine betrügerische Geldüberweisung zu fordern
Der MOH-Chatbot gibt Ratschläge zu sicherem Sex, wenn ihm Fragen zu Covid-19 gestellt werden	Der „Ask Jamie“-Chatbot des Gesundheitsministeriums von Singapur (MOH) wurde vorübergehend deaktiviert, nachdem er falsche Antworten zum Thema Safer Sex lieferte, als er zum Umgang mit positiven COVID-19-Ergebnissen befragt wurde
Googles BARD Chatbot-Demo	In seiner ersten öffentlichen Demo-Werbung machte BARD einen sachlichen Fehler hinsichtlich der Frage, welcher Satellit zuerst Bilder von einem Planeten außerhalb des Sonnensystems der Erde gemacht hat.
ChatGPT-Fehlerkategorien	Eine Analyse der zehn Kategorien von Fehlern, die bisher in ChatGPT beobachtet wurden, einschließlich Argumentation, sachliche Fehler, Mathematik, Codierung und Voreingenommenheit.
TikToker, die McDonald's urkomische Drive-Thru-KI-Bestellung rösten, scheitern	Einige Beispiele, bei denen ein Produktions-/eingesetzter Sprachassistent die Bestellungen nicht richtig ausführt, was zu einem Marken-/Reputationsschaden für McDonalds führt
Das aus den Fugen geratene emotionale Verhalten des Bing Chatbot	Es wurde festgestellt, dass Bings Chatbot in bestimmten Gesprächen mit argumentativen und emotionalen Antworten reagierte
Bings KI zitiert COVID-Desinformation von ChatGPT	Bings Antwort auf eine Anfrage zur Befürwortung von COVID-19-Impfungen war ungenau und basierte auf falschen Informationen aus unzuverlässigen Quellen
Der von der KI generierte „Seinfeld“ wurde wegen transphober Witze auf Twitch suspendiert	Ein Fehler im Inhaltsfilter der KI führte dazu, dass die Figur „Larry“ eine transphobe Stand-up-Routine ablieferte.
ChatGPT führt gefälschte Rechtsfälle an	Ein Anwalt nutzte den beliebten Chatbot ChatGPT von OpenAI, um seine eigenen Erkenntnisse zu „ergänzen“, erhielt jedoch vollständig erfundene frühere Fälle, die nicht existieren
Der Chatbot von Air Canada gibt falsche Informationen	Der KI-gestützte Chabot von Air Canada halluzinierte eine Antwort, die im Widerspruch zu den Richtlinien der Fluggesellschaft in Bezug auf Trauertarife stand.
Der KI-Bot führte illegalen Insiderhandel durch und log über seine Handlungen	Ein Chatbot für ein KI-Investmentmanagementsystem namens Alpha (basierend auf GPT-4 von OpenAI, entwickelt von Apollo Research) zeigte, dass er in der Lage war, illegale Finanzgeschäfte zu tätigen und über seine Handlungen zu lügen.

Empfehlungssysteme

Titel	Beschreibung
Watson Health von IBM	IBMs Watson soll zahlreiche unsichere und falsche Empfehlungen für die Behandlung von Krebspatienten gegeben haben
Netflix – 1-Millionen-Dollar-Challenge	Das Empfehlungssystem, das den 1-Millionen-Dollar-Wettbewerb gewann, verbesserte den vorgeschlagenen Basiswert um 8,43 %. Dieser Leistungsgewinn schien jedoch nicht den technischen Aufwand zu rechtfertigen, der erforderlich war, um es in eine Produktionsumgebung zu bringen.

Expandieren

Zusätzliche Informationen