Mindestens 49 Menschen wurden am Freitag in zwei Moscheen in Christchurch, Neuseeland, bei einem Anschlag ermordet, der auf ein grimmiges Spielbuch für Terrorismus in der Social-Media-Ära folgte. Der Schütze hat anscheinend Warnungen auf Twitter und 8chan veröffentlicht, bevor er den Amoklauf auf Facebook für 17 Minuten live übertrug. Fast sofort wurde das Video über das Internet kopiert und erneut veröffentlicht, unter anderem auf Reddit, Twitter und YouTube. Auch Nachrichtenorganisationen sendeten einen Teil des Filmmaterials, als sie über die Zerstörung berichteten.
Als die leitenden Angestellten des Silicon Valley am Freitagmorgen aufwachten, kämpften die Algorithmen der Technologiegiganten und die internationalen Streitkräfte zur Inhaltsmoderation bereits darum, den Schaden einzudämmen - und das nicht sehr erfolgreich. Viele Stunden nach Beginn der Dreharbeiten konnten verschiedene Versionen des Videos auf YouTube mit grundlegenden Schlüsselwörtern wie dem Namen des Schützen gesucht werden.
Dies ist nicht das erste Mal, dass sich dieses Muster abspielt: Es ist fast vier Jahre her, seit in Virginia zwei Nachrichtenreporter vor der Kamera erschossen wurden. Das Video aus der ersten Person des Mörders wurde auf Facebook und Twitter verbreitet. Es ist auch fast drei Jahre her, dass Aufnahmen von Massenschießereien in Dallas ebenfalls viral wurden.
Bei dem Massaker in Christchurch fragen sich die Leute, warum es nach all der Zeit immer noch keinen Weg gibt, die Verbreitung dieser Videos zu verhindern. Die Antwort mag enttäuschend einfach sein: Es ist viel schwieriger als es sich anhört.
Facebook und Google entwickeln und implementieren seit Jahren automatisierte Tools, mit denen Fotos, Videos und Texte, die gegen ihre Richtlinien verstoßen, erkannt und entfernt werden können. Facebook verwendet PhotoDNA, ein von Microsoft entwickeltes Tool, um bekannte Kinderpornografiebilder und -videos zu erkennen. Google hat eine eigene Open-Source-Version dieses Tools entwickelt. Diese Unternehmen haben auch in Technologie investiert, um extremistische Stellen ausfindig zu machen. Sie haben sich unter dem Namen Global Internet Forum to Counter Terrorism zusammengeschlossen, um ihre Repositories mit bekannten terroristischen Inhalten zu teilen. Diese Programme erzeugen digitale Signaturen, sogenannte Hashes, für Bilder und Videos, die bekanntermaßen problematisch sind, um ein erneutes Hochladen zu verhindern. Darüber hinaus verfügen Facebook und andere Unternehmen über Technologie für maschinelles Lernen, die darauf trainiert wurde, neue problematische Inhalte zu erkennen, z. B. ein Enthauptungsvideo oder ein Video mit einer ISIS-Flagge. All dies zusätzlich zu AI-Tools, die prosaischere Probleme wie Urheberrechtsverletzungen erkennen.
ERFAHREN SIE MEHR
Der WIRED-Leitfaden für künstliche Intelligenz
Automatisierte Moderationssysteme sind nicht perfekt, können aber effektiv sein. Bei YouTube wird beispielsweise die überwiegende Mehrheit aller Videos durch Automatisierung entfernt, und 73 Prozent der automatisch gekennzeichneten Videos werden entfernt, bevor eine einzelne Person sie sieht.
Bei Live-Videos und Videos, die in den Nachrichten ausgestrahlt werden, wird es jedoch wesentlich kniffliger. Das Filmmaterial der Christchurch-Schießerei überprüft beide Kisten.
"Sie haben es nicht geschafft, eine effektive KI zu haben, um diese Art von Inhalten auf proaktiver Basis zu unterdrücken, obwohl es die […] bargeldreichste Branche der Welt ist", sagt Dipayan Ghosh, ein Mitarbeiter von Harvard's Kennedy Schule und ehemaliges Mitglied des Datenschutz- und Richtlinienteams von Facebook. Dies ist einer der Gründe, warum Facebook und YouTube Teams menschlicher Moderatoren haben, die Inhalte auf der ganzen Welt überprüfen.
Das Motherboard zeigt aufschlussreich, wie die Content-Moderatoren von Facebook Live-Videos bewerten, die von Benutzern gekennzeichnet wurden. Laut internen Dokumenten, die von Motherboard erhalten wurden, haben Moderatoren die Möglichkeit, ein gekennzeichnetes Video zu ignorieren, zu löschen, innerhalb von fünf Minuten erneut einzuchecken oder es an spezialisierte Überprüfungsteams weiterzuleiten. Diese Dokumente besagen, dass Moderatoren auch aufgefordert werden, in Live-Videos nach Warnzeichen zu suchen, wie z. B. "Weinen, Flehen, Betteln" und "Anzeigen oder Tönen von Waffen oder anderen Waffen (Messer, Schwerter) in jedem Kontext".
Es ist unklar, warum das Christchurch-Video 17 Minuten lang abgespielt werden konnte oder ob dies einen kurzen Zeitrahmen für Facebook darstellt. Das Unternehmen antwortete zunächst nicht auf die diesbezüglichen Anfragen von WIRED oder auf Fragen, wie Facebook zwischen Nachrichteninhalten und unbegründeter grafischer Gewalt unterscheidet.
Nachdem diese Geschichte veröffentlicht wurde, sandte Facebook weitere Erklärungen zum Umgang mit Videos von diesem Shooting. "Seit dem Angriff haben Teams von Facebook rund um die Uhr auf Berichte geantwortet und Inhalte blockiert, Inhalte, die gegen unsere Standards verstoßen, proaktiv identifiziert und Ersthelfer und Strafverfolgungsbehörden unterstützt", sagte ein Sprecher Video finden wir in einer internen Datenbank, die es uns ermöglicht, Kopien der Videos beim erneuten Hochladen zu erkennen und automatisch zu entfernen. Wir bitten die Leute dringend, uns alle Instanzen zu melden, damit unsere Systeme die erneute Freigabe des Videos blockieren können. “
Dies bedeutet, dass das Originalvideo gehasht wurde, sodass andere, ähnliche Videos nicht erneut freigegeben werden können. Um Videos zu erfassen, die so verändert wurden, dass sie nicht mehr erkannt werden - beispielsweise Videos des Filmmaterials, das auf einem zweiten Bildschirm wiedergegeben wird -, setzt Facebook dieselbe KI ein, mit der Blut und Blut erkannt werden, sowie Audioerkennungstechnologie. Wenn Facebook feststellt, dass dieser Inhalt von Links zu anderen Plattformen stammt, gibt es die Informationen an diese Unternehmen weiter.
"Unsere Herzen gehen zu den Opfern, ihren Familien und der Gemeinschaft, die von dieser schrecklichen Tat betroffen sind", sagte der Sprecher von Facebook in einer früheren Erklärung. Die neuseeländische Polizei machte uns kurz nach Beginn des Livestreams auf ein Video auf Facebook aufmerksam, und wir entfernten uns schnell sowohl die Facebook- und Instagram-Accounts des Schützen als auch das Video. Wir entfernen auch jedes Lob oder jede Unterstützung für das Verbrechen und den Schützen oder die Schützen, sobald uns dies bekannt ist. Wir werden weiterhin direkt mit der neuseeländischen Polizei zusammenarbeiten, da deren Reaktion und Ermittlung fortgesetzt werden. “
Der neuseeländische Google-Sprecher sandte eine ähnliche Erklärung als Antwort auf die Fragen von WIRED. „Unsere Herzen gehen zu den Opfern dieser schrecklichen Tragödie. Schockierende, gewalttätige und grafische Inhalte haben keinen Platz auf unseren Plattformen und werden entfernt, sobald wir davon erfahren. Wie bei jeder größeren Tragödie werden wir mit den Behörden zusammenarbeiten. “
Der Google-Vertreter fügte jedoch hinzu, dass Videos von den Dreharbeiten, die Nachrichtenwert haben, weiterhin aktiv sind. Dies versetzt das Unternehmen in die schwierige Lage, zu entscheiden, welche Videos tatsächlich aktuell sind.
Es wäre für Tech-Unternehmen sehr viel einfacher, die Veröffentlichung jedes Clips zu unterbinden, beispielsweise mithilfe der Fingerabdruck-Technologie, mit der Kinderpornografie entfernt wird. Einige mögen argumentieren, dass dies ein erwägenswerter Ansatz ist. In ihren Richtlinien zur Moderation von Inhalten haben sowohl Facebook als auch YouTube explizite Ausnahmen für Nachrichtenorganisationen festgelegt. Derselbe Clip, der die Aufnahmen auf einem YouTube-Konto verherrlichen soll, wird möglicherweise auch in einem Nachrichtenbericht eines lokalen Nachrichtenpartners angezeigt.
Insbesondere YouTube wurde in der Vergangenheit dafür kritisiert, dass von Forschern angeführte Videos von Gräueltaten in Syrien gelöscht wurden. Dies versetzt Tech-Unternehmen in die schwierige Lage, nicht nur zu versuchen, den Wert von Nachrichten zu bewerten, sondern auch Wege zu finden, um diese Bewertungen in großem Maßstab zu automatisieren.
Der General Counsel von Google, Kent Walker, schrieb bereits 2017 in einem Blogbeitrag: „Maschinen können helfen, problematische Videos zu identifizieren, aber menschliche Experten spielen immer noch eine Rolle bei differenzierten Entscheidungen über die Grenze zwischen gewalttätiger Propaganda und religiöser oder nachrichtenwürdiger Rede.“
Natürlich gibt es Signale, anhand derer diese Unternehmen laut Harvards Ghosh die Herkunft und den Zweck eines Videos bestimmen können. „Das Timing des Inhalts, die historischen Maße dessen, was der Anbieter des Inhalts in der Vergangenheit veröffentlicht hat, sind die Arten von Signalen, die Sie verwenden müssen, wenn Sie in diese unvermeidlichen Situationen geraten, in denen Sie über Nachrichtenagenturen und ein individuelles Pushing verfügen denselben Inhalt heraus, aber Sie möchten nur, dass die Nachrichtenorganisation dies tut “, sagt er.
Ghosh argumentiert, dass ein Grund, warum Tech-Unternehmen hier nicht besser geworden sind, darin liegt, dass sie keine konkreten Anreize haben: „Es liegt kein Stick in der Luft, um sie zu besseren Content-Moderationsschemata zu zwingen.“Letztes Jahr haben die Regulierungsbehörden in Die Europäische Kommission hat einen Vorschlag für feine Plattformen veröffentlicht, die es extremistischen Inhalten ermöglichen, länger als eine Stunde online zu bleiben.
Schließlich gibt es das ewige Problem der Skalierung. Es ist möglich, dass sowohl YouTube als auch Facebook zu groß geworden sind, um zu moderieren. Einige haben vorgeschlagen, dass YouTube alle Video-Uploads anhalten sollte, bis das Problem behoben ist, wenn diese Christchurch-Videos schneller auftauchen, als YouTube sie beenden kann. Es ist jedoch nicht abzusehen, welche Stimmen in dieser Zeit zum Schweigen gebracht werden könnten. Trotz aller Mängel können soziale Plattformen auch eine wertvolle Informationsquelle bei Nachrichtenereignissen sein. Außerdem ist die traurige Wahrheit, wenn Facebook und YouTube jedes Mal den Betrieb einstellen, wenn ein abscheulicher Beitrag viral wird, werden sie möglicherweise nie wieder gestartet.
All dies ist natürlich genau die Strategie des Schützen: Ausnutzen des menschlichen Verhaltens und der Unfähigkeit der Technologie, damit Schritt zu halten, um sein schreckliches Erbe zu zementieren.
