Um was geht es hier?

Debatten- und Diskussionsforen im Internet werden häufig von einzelnen Personen oder kleinen Gruppen negativ beeinflusst. Spätestens mit Beginn der Flüchtlingskrise sind die Netzdebatten um Ausländer und Muslime in den Fokus der Öffentlichkeit gerückt. Es ist bekannt, dass es viele Hasskommentare zum Thema Flüchtlinge gibt  –  meistens ohne Konsequenzen für diejenigen, die den Hass geäußert haben. Wohl aber mit Auswirkungen für die Diskussion selbst, für Journalisten und für andere Diskussionsteilnehmer. Soziale Medien fördern durch ihr meist rein kommerziell orientiertes Design die Emotionalität der Debatte und Ideologisierung der Kommentare. Häufig scheint es nur noch schwarz und weiß zu geben. Dies alles hat die Verbreitung von Hass im Netz begünstigt - mit negativen Auswirkungen für die Gesellschaft.

Bereits mehr als die Hälfte der journalistischen Portale in Deutschland beschränken inzwischen die Kommentarfunktion auf ihrer Internetseite und in den sozialen Medien. Es ist offensichtlich, dass viele Redaktionen mit der Flut an Kommentaren zu kontroversen Themen überfordert sind. Neue analytische Methoden zur Auswertung von Kommentaren sind daher absolut notwendig, um den erheblichen Moderationsaufwand zu reduzieren, Propaganda und Hetze zu verhindern und damit letztendlich die Online-Debatte zu erhalten.

Hier setzt das Projekt Cyberhate-Mining (#HateMining) an. Es fokussiert sich auf automatische Text- und Inhaltsanalysen, um Hass im Internet zu erkennen und letztlich einzudämmen. Die Erkennung mit Hilfe von Textanalyse-Techniken ist schwierig – aber wir zeigen jedoch mögliche Wege auf. Dafür entwickeln wir keine eigene Kommentarplattform, sondern prototypische Verfahren, die sich durch Betreiber von Internetseiten leicht in bestehende Foren oder Kommentarfunktionen integrieren lassen. Am Ende dieser Webseite können Sie selbst ausprobieren, wie gut die verschiedenen Verfahren funktionieren.

• Textanalyse-Tools
• Flüchtlingsdebatte
• Open Science

Für die Umsetzung unseres Vorhabens werden viele Daten in Form einer große Sammlung von Artikeln zum Thema Flüchtlingskrise und den dazu verfassten Nutzer-Kommentaren benötigt. Für Aufbau der Datenbasis verwenden wir so genannte Web-Scraping Techniken mit denen wir die Kommentare direkt von den untersuchten Plattformen abgreifen. Dabei werden sowohl journalistischen Nachrichtenportalen als auch alternative publizistische Internetseiten miteinbezogen. Bei der Auswahl der Plattformen spielte auch die technische Komplexität des Auslesens eine Rolle, d.h. Plattformen, die ein vergleichbar einfacheres Auslesen der Daten gestatten, wurden bevorzugt. Plattformen wie Spiegel Online, die die Kommentarfunktion bezüglich der Flüchtlingsdebatt deaktiviert haben, konnten nicht berücksichtigt werden.

Bis zum 30. Juni 2016 konnten auf diese Weise über 20.000 Artikel und mehr als 375.000 Kommentare von 14 verschiedenen Plattformen gesammelt werden.

Technische Umsetzung

Die Implementierung des Web-Scraping erfolgte mithilfe von Scrapy umgesetzt, einem populären Web-Scraping Framework. Zum Durchsuchen der jeweiligen Plattformen nach relevanten Artikeln und Kommentaren setzen wir ein zweistufiges Verfahren ein:

• Stufe 1: Identifizieren von Artikeln zum Thema Flüchtlinge
• Stufe 2: Extrahieren der Kommentare zu den jeweiligen Artikeln

Pro Stufe und Nachrichtenplattform gibt es genau eine sogenannte Web Spider, welche die benötigten Daten automatisch aus den Internetseiten ausliest. Diese müssen speziell für jede Internetseite programmiert werden, denn das Vorgehen unterscheidet sich von Plattform zu Plattform. Alle Web Spiders werden regelmäßig ausgeführt, sodass neu veröffentlichte Artikel und Kommentare zeitnah erfasst und in die Datenbasis aufgenommen werden.

Selbstverständlich sammeln wir nur Kommentare, die für jedermann öffentlich einsehbar und verfügbar sind. Beim Sammeln beachten wir, falls vorhanden, die Vorgaben der Betreiber der jeweiligen Plattform. So werden keine Daten gesammelt, wenn dies in den Geschäftsbedingungen oder in der robots.txt verboten ist. Auch Schutzmaßnahme gegen eine Überlastung des Web-Servers umgehen wir nicht. Stattdessen sind unsere Web Spider so programmiert, dass Sie möglichst wenig Ladelast auf den abgefragten Webseiten erzeugen.

Das Projekt Cyberhate-Mining fokussiert auf Kommentare zu Artikeln, die einen Bezug zur Flüchtlingskrise haben. Zur Identifizierung der geeigneten Artikel im Rahmen des Web-Scraping, kamen drei unterschiedliche Strategien zum Einsatz:

• Filterung relevanter Artikel über die Suchfunktion der Nachrichtenseite
• Beschränkung der Web Spider auf die entsprechende Themenseite, z.B. Zeit Online oder Epoch Times
• Durchsuchen gefundener Artikel nach festgelegten Stichwörtern

Einige Nachrichtenseiten und Blogs bieten eine Suchfunktion an, mit deren Hilfe sich nach Begriffen wie „Flüchtlingskrise“ oder „Flüchtlinge“ suchen lässt – manchmal wird die Verwendung dieser Suche jedoch durch die robots.txt untersagt. Mit Flüchtlings-Themenseiten oder Dossiers ist es möglich nur die dort verlinkten Artikel zu berücksichtigen. Für Plattformen, die weder Suchfunktion noch Themenseiten bereitstellen, wird ein Schlüsselwort-Verfahren eingesetzt. Die Relevanz jedes Artikels wird anhand eines oder mehrere Schlüsselwörter ermittelt, welche im Text vorkommen müssen.

Ein Blick auf die gesammelten Daten verrät bereits einiges über die untersuchten Plattformen und deren Kommentatoren. Journalistische Internetseiten veröffentlichen mehr Artikel zur Flüchtlingskrise als die meisten alternative publizistische Internetseiten. Spitzenreiter ist Zeit Online mit mehr als 5.800¹⁾ Artikeln, gefolgt von Epoch Times und Focus.de²⁾. Im Zeitverlauf ist ein Ausschlag im September 2015 sowie im Januar und Februar 2016 bei vielen der Internetseiten erkennbar. Bei den Kommentaren ist dieses Phänomen erst mit geringer Verzögerung festzustellen. Welt.de ist Spitzenreiter mit der größten Anzahl an Kommentaren von über 180.000. Ihr folgen Epoch Times und Focus.de. Die längsten Diskussionen sind auf Welt.de zu finden. Hier gibt es im Durschnitt fast 100 Kommentare je Artikel.

• Artikel
  • Artikelanzahl je Plattform
  • Artikelveröffentlichungen über die Zeit
• Kommentare
  • Kommentare je Plattform
  • Verfasste Kommentare über die Zeit
  • Durchschnittliche Kommentare je Plattform
  • Durchschnittliche Kommentare je Plattform über die Zeit

Bewertungsverfahren

Es ist nach wie vor ziemlich schwierig, automatisiert Emotionen wie Hass in natürlich-sprachlichen Texten zu erkennen – aber auch nicht unmöglich. In den letzten Jahren wurden durch Verbesserungen in Algorithmik und Computer-Hardware neue Methoden entwickelt und bestehende Verfahren besser nutzbar.

Trotzdem kommt der Computer allein als neutraler Juror für die Erkennung von Hass-Kommentaren derzeit nicht in Frage. Um dennoch die für die Textanalyse-Tools notwendigen Einschätzungen der Kommentare zu erhalten, verwenden wir Nutzer-Bewertungen von realen Personen. Dieser so genannte Crowdsourcing-Ansatz ist nicht neu und wird bereits von anderen Wissenschaftlern verwendet.

Zum Lernen der Algorithmen benötigen wir möglichst viele bewertete Kommentare. Dennoch wird ein Kommentar nicht sofort nach der ersten Nutzer-Bewertung als Hass und Nicht-Hass klassifiziert. Um das Ausmaß der Subjektivität zu verringern, erheben wir bis zu sieben Bewertungen pro Kommentar. Dadurch erhoffen wir uns einen passenden Ausgleich zwischen Quantität und Qualität der bewerteten Kommentare.

Nach jeder Bewertung wird überprüft, ob der entsprechende Kommentar einer aus drei Kategorien zugeordnet werden kann. Sind genug Bewertungen abgegeben, wird der Kommentar in eine der Kategorien „Hass“, „Kein Hass“ oder „Weiß Nicht“ eingeordnet.

• Hass
• Kein Hass
• Weiß Nicht

Ergebnisse

Innerhalb der Bewertungsphase im Mai und Juni 2016 haben wir unser Projekt über soziale Netzerke publik gemacht und Personen zur Bewertung von Kommentaren aufgefordert. Hass oder Nicht-Hass – das war die Frage.

Als einzigen Anhaltspunkt für die Bewertung, konnten die Nutzer eine Hass-Definition des Ministerkomitees des Europarates (siehe rechts) parallel zu den Bewertungen abrufen. Am Ende der Datenerfassung waren 12.000 Bewertungen erfasst. Damit konnten anhand des vorstellten Bewertungsverfahrens insgesamt 2.983 Kommentare kategorisiert werden, die sich wie folgt über die drei Bewertungsoptionen aufteilen:

27 Prozent für Hasskommentare ist ziemlich hoher Wert, der das reale Aufkommen solcher Kommentare deutlich übersteigt. Wir erklären uns den hohen Anteil dadurch, dass unsere Studienteilnehmer keine Vorerfahrung in der Bewertung von Kommentaren hatten und zudem durch den Kontext der Untersuchung geneigt waren, übermäßig viele Kommentare als Hass zu klassifizieren. Durch die Beschränkung auf Artikel zur Flüchtlingskrise wurden zudem Daten zu einem kontroversem Thema erhoben.

An den Bewertungen der Kommentare haben sich insgesamt mehr als 240 Nutzer beteiligt. Es ist wichtig zu beachten, dass es sich um keine repräsentative Umfrage handelt, wie sich schnell an diesen demografischen Merkmalen erkennen lässt. So haben etwa die Männer mit 23 und 24 Jahren und die Frauen zwischen 39 und 40 Jahren überdurchschnittlich viele Bewertungen abgegeben.

• Teilnehmerverteilung
• Bewertungsverteilung

Bewertungen pro Plattform

Der „Kein Hass“-Anteil bei den journalistischen Nachrichtenportalen, aber auch bei den meisten alternativ publizistischen Internetseiten liegt bei über 50%. Ausnahmen sind Contra Magazin, Freie Welt und Junge Freiheit. Die Plattformen mit dem größten Anteil an „Kein Hass“-Kommentaren sind Der Tagesspiegel mit 72% und Zeit Online mit 67%.

Bei den Verteilungen ist zu beachten, dass der Anteil an Hasskommentaren von vielen Faktoren beeinflusst werden kann, z.B. durch die Moderationsstrategien der Plattformen. Ein geringer Anteil an mit Hass bewerteten Kommentaren könnte auch bedeuten, dass die Moderatoren einer Plattform beim Herausfiltern der Kommentare strenger sind als die anderer Plattformen.

Diskussionslänge und Hass

Es ist vorstellbar, dass Nutzer sich mit „Hass“-Kommentaren gegenseitig anstacheln. So können unter einzelnen Artikeln große Ansammlungen von „Hass“-Kommentaren entstehen. Um dies zu untersuchen, teilen wir die Artikel anhand der Anzahl der Kommentare in lange und kurze Diskussionen ein. Dabei ist zu beachten, dass die Plattformen sehr unterschiedliche Besucherzahlen haben. Eine Diskussion gilt als lang, wenn sie länger als der Durchschnitt der entsprechenden Plattform ist. Anschließend wird untersucht, wie viele als „Hass“ bewertete Kommentare unter den jeweiligen Artikeln vorhanden sind.

Die Ergebnisse zeigen keine eindeutige Tendenz. Dies könnte darauf zurückzuführen sein, dass wir nur ein Bruchteil der gesammelten Kommentare auch bewertet haben. Eine eindeutige Aussage über den Zusammenhang zwischen Diskussionslänge und Hassanteil ist erst möglich, sofern alle Kommentare unter einer großen Menge von Artikeln vollständig bewertet sind.

Kommentarlänge und Hass

Neben ihrer Zuordnung zu Artikel bzw. Plattformen, nehmen Kommentare an sich bereits unterschiedliche Formen an. In unserer Datensammlung kommen kürzere Kommentare häufiger vor. Der Anteil an „Hass“-Kommentaren nimmt jedoch mit steigender Kommentarlänge zu. So liegt er bei Kommentaren mit einer Länge zwischen 100 und 199 Zeichen bei 21% und bei einer Länge zwischen 500 und 599 Zeichen bei 33%.

Häufigste Wörter

Verfahren und Methoden, die dem Oberbegriff Text Mining zuzuordnen sind, stellen verschiedene Analyseverfahren zur Verfügung, mit denen Kerninformationen aus unstrukturierten Texten ausgewertet werden. Dazu zählen unter anderem folgende Methoden:

• Überführung der Texte in ein einheitliches Format
• Lemmatisierung und Stemming von Wörtern
• Entfernen von wenig aussagekräftigen Stoppwörtern, wie „auf“ oder „ein“
• Analyseverfahren wie Sentimentanalyse oder Topic Modeling
• Visualisierung der Ergebnisse

Um die erwähnten Methoden anzuwenden nutzen wir unter anderem die Software MineMyText. Die Software ermöglicht beispielsweise das Zählen der häufigsten Wörter in den gesammelten Kommentaren. Die Auswertung der häufigsten Wörter je „Hass“- bzw. „Kein Hass“-Kommentar zeigt einige Unterschiede. So gibt es drei Wörter, die in beiden Kategorien häufig vorkommen: „Deutschland“, „Deutsch“ und „Land“. Während sich ihre Häufigkeit in „Kein Hass“-Kommentaren jedoch auf 8% bis 12% beläuft, so sind sie in „Hass“-Kommentaren öfter vertreten (16%-21%). Häufige Wörter, die sich eher in „Kein Hass“-Kommentaren finden lassen, sind „Mensch“ und „Gut“, jeweils mit 9%.

Identifizierung von Trollen

Personen, die absichtlich die Kommunikation in einer Online-Community stören, werden als Trolle bezeichnet. Sie posten nutzlose, ablenkende und kontraproduktive Beiträge, um im besten Fall eine fruchtlose Diskussion anzustoßen. Teilnehmer solcher Diskussion werden dabei oft unterschwellig von den Trollen provoziert. Zudem existiert eine zweite, deutlich professionellere Art des Trollens, die das Ziel hat, systematisch Propaganda zu verbreiten, um die öffentliche Meinungsbildung und das Verhalten von Journalisten zu beeinflussen.

Das Projekt Cyberhate-Mining untersucht mit analytischen Methoden, um „Troll-Beiträge“ als solche zu erkennen. Unter anderem gestattet es die umfangreiche Datensammlung, nach Copy/Paste-Beiträgen bzw. automatisiert veröffentlichten Beiträgen von Kommentaren über verschiedene Plattformen zu suchen. Dennoch: Die Identifizierung von Trollen, rein auf Basis der Kommentartexte ist schwierig. Die beste Propaganda war schon immer jene, die als solche nicht zu erkennen ist.

Wer schreibt eigentlich Kommentare?

Aufgrund riesiger Kommentarmengen und Nutzerzahlen scheint es unmöglich, dass einzelne Nutzer die vielen Anderen durch ihre Kommentare beeinflussen können. Zählt man jedoch die Anzahl der Kommentare jedes Nutzers, wird schnell deutlich, dass nur ein Bruchteil aller Nutzer den Großteil der Kommentare schreibt. Dieses Phänomen lässt sich bei allen der 13 untersuchten Plattformen beobachten. Somit entsteht der Eindruck, dass ein kleiner aktiver Teil an Nutzern meinungsbildend sein könnte.

Wie viel Einfluss die sehr aktiven Nutzer auf einer gesamten Plattform haben, ist durch die nachfolgende Grafik sichtbar. Beispielsweise schreiben auf der Plattform Focus Online gerade einmal 6% der Nutzer mehr als die Hälfte aller Kommentare. Für andere Plattformen ergibt sich ein ähnliches Bild.

Vorgehen zur Troll-Identifizierung

Um überhaupt Trolle in unserem Datensatz identifizieren zu können, haben wir im ersten Schritt alle 63.478 Nutzer extrahiert. Ein Nutzer ist durch die Kombination aus Username und Plattform eindeutig identifizierbar. Das ein und die selbe Aktion mehrere Accounts anlegt oder mehrere Personen einen gemeinsamen Account nutzen, können wir dabei nicht berücksichtigen. Zusätzlich müssen unsere Methodiken zwischen außerordentlich aktiven Nutzern und potenziellen Trollen unterscheiden können.

Im nächsten Schritt klassifizierten wir jeden Nutzer anhand von sechs verschiedenen Kennzahlen. Um die einzelnen Indikatoren untereinander besser vergleichen zu können, haben wir diese normalisiert. Bei dem Normalisierungsschritt wurden anhand von Quantilen ebenfalls Ausreißer geglättet, um Tendenzen, die unsere Kennzahlen einseitig verzerren, zu relativieren. Anschließend wurden die Kennzahlen je nach Relevanz gewichtet und in einen endgültigen Troll-Score pro Nutzer verdichtet. Die sechs Kennzahlen werden im folgenden beschrieben:

Identifikatoren
für Trolle

Plattformübergreifende Ähnlichkeiten

Unabhängig von den Analysen individueller Kommentatoren, haben wir mittels Jaccard-Koeffiziens und TF-IDF plattformübergreifend die Ähnlichkeit aller Kommentartexte überprüft. Mittels der Ergebnisse ist es uns möglich, mit einer geringen Unsicherheit, Nutzer plattformübergreifend zu identifizieren, wenn sie auf beiden Plattformen ähnliche Kommentare geschrieben haben.

Mit dieser Methodik konnten wir unter allen 315 015 Kommentaren 1 455 nicht einzigartige Kommentare ermittelt, welche eine hohe Ähnlichkeit mit anderen Kommentaren aufweisen.

Ergebnisse

Mittels des entwickelten Troll-Score wurden alle Nutzer bewertet. Die nachfolgende Tabelle enthält die Top 10 der potenziellen Trolls über alle Plattformen hinweg. Die Ergebnisse lassen sich nach Plattformen filtern.

Troll Stories

• Volker S.
• JR
• Walter G.

Die klassische Hass-Erkennung basiert auf Klassifikationsverfahren aus dem Bereich des Supervised Learning. Je größer diese Sammlung ist, desto besser können später die Verfahren aus den Daten selbstständig lernen und die Texte schließlich automatisiert auswerten. Die gesammelten Kommentare und die zugehörigen Nutzerbewertungen bilden die Datengrundlage. Um aus diesen Daten ein Hass-Wörterbuch zu erstellen, werden die Kommentare in einzelne Wörter aufgetrennt, die dann klassifiziert werden. Das Wörterbuch gibt für jedes Wort einen Koeffizienten an, der die Wahrscheinlichkeit bestimmt, dass es in einem Hass-Kommentar enthalten ist.

Vorbearbeitung

Um die Präzision des Wörterbuchs zu erhöhen, werden die Wortlisten bereinigt. In einem ersten Schritt werden Sonderzeichen gelöscht und die deutschen Umlaute auf ihre Grundbuchstaben zurückgeführt (z.B. ä → ae, ß → ss). Es folgt die Anwendung von drei Mechanismen:

1. die Reduzierung von Stoppwörtern,
2. das Filtern der Wörter mittels TF-IDF und
3. die Deduplikation mittels Lemmatisierung.

1. Stoppwörter

Stoppwörter sind häufig vorkommende Wörter, die aber für Erfassung und Analyse von Textinhalten keine signifikante Bedeutung haben. Typische Beispiele sind Füllwörter, Konjunktionen und die deutschen Artikel. Diese Wörter können für die Erstellung des Wörterbuches ignoriert werden. Wir nutzen zwei Quellen für unsere Liste an Stoppwörtern: Ein Paket des Natural Language Toolkit (NLTK) und das Paket von Alireza Savand.

Beispiel für verwendete Stoppwörter sind:
aber, bei, der, die, das, doch, ein, einer, eine, man, nach, oder, so, und, wie, zu

2. TF-IDF-Maß

Die Nutzung des TF-IDF-Maßes verfeinert den Stoppwort-Ansatz. Das Maß gewichtet die Wörter nach ihrer Vorkommenshäufigkeit. Über eine vorgegebene Schwelle werden die Wörter herausgefiltert, deren Gewichtung nicht hoch genug ist. Diese gefilterten Wörter haben eine zu geringen Einfluss auf Bewertung der Kommentare und werden demnach nicht weiter betrachtet. Durch die Verwendung von TF-IDF konnte die Vorhersagegenauigkeit des Wörterbuchs um ca. 2% verbessert werden.

Insgesamt lässt sich feststellen, dass es in unserer Kommentarsammlung zahlreiche Wörter gibt, die sehr selten vorkommen. Häufig vorkommende Wörter gibt es hingegen nur wenige. Von den ca. 17.000 Wörtern, gibt es fünf Wörter, die in über 10% der Kommentare vorkommen und 261 Wörter, die in über 1% der Kommentare vorkommen. Die fünf häufigsten Wörter in den Kommentaren mit Einfluss auf die Bewertung sind:

• Merkel
• Deutschland
• schon
• mehr
• mal

3. Lemmatisierung

Lemmatization bezeichnet den Prozess, verschiedene Beugungsformen (Flexionen) eines Wortes auf ihren Wortstamm zurückzuführen. So wird erreicht, dass ein Wort nicht mehrfach in unterschiedlichen Beugungsformen für die Klassifikation genutzt wird. Stattdessen soll jedes Wort möglichst in nur einer Beugungsform genutzt werden, zum Beispiel:

• Verbrechen, Verbrecher, Verbrechers, etc.
  werden auf den Wortstamm „Verbrech-“ zurückgeführt.
• Fluechtling, Fluechtlinge, Fluechtlingen, etc.
  werden auf den Wortstamm „Fluechtling-“ zurückgeführt.

Es sollte beachtet werden, dass Wortkompositionen nicht von der Lemmatisierung betroffen sind. So wird zum Beispiel „Fluechtlingsheim“ weiter als eigenes Wort erkannt. Zur Durchführung der Lemmatisierung wird ein Algorithmus aus dem Snowball-Projekt verwendet.

Erstellung des Wörterbuchs

Für die Erstellung der Wörterbuchs können nicht alle gesammelten Kommentare genutzt werden, sondern nur jene für die Nutzerbewertungen (Hass oder Nicht-Hass ) vorliegen. Zum Trainieren des Klassifikationsalgorithmus wird nur eine Teilmenge der Daten verwendet. Die restlichen Daten dienen als so genanntes Test-Set, um Parameter festzulegen und eine Überanpassung des Verfahrens zu verhindern. Mit dem gelernten Modell lassen sich anschließend beliebige Kommentare auf ihre Hass-Wahrscheinlichkeit bewerten.

Wir verwenden ein "Bag-of-Words"-Modell. Dieses Modell reduziert jeden Kommentar auf seine einzelnen Wörter, so dass Satzstruktur und Grammatik nicht beachtet werden. Durch diese Technik, lässt sich nach Abschluss des Verfahrens auch ermitteln, welchen Einfluss einzelne Wörter auf auf die Hass-Prognose haben. Diese Einflussfaktoren werden Koeffizienten genannt. Wir haben die Koeffizienten extrahiert und ein Hass-Wörterbuch generiert.

Das Wörterbuch wurde auf Basis der bewerteten Kommentare generiert. Dies sind aber weniger als ein Prozent der insgesamt gesammelten Kommentare. Insgesamt gibt es also viele Wörter, die nicht im Wörterbuch aber in den Kommentartexten auftauchen. Da es für diese Wörter keine Bewertungen gibt, ist es nicht möglich einen Koeffizienten zu berechnen.

Um das Wörterbuch dennoch mit diesen Wörter zu ergänzen verwenden wir das Word2Vec Modell (Wort als Vektor). Das von Google entwickelte Verfahren kann auf allen Wörtern trainert werden und ist so in der Lage, ähnliche Wörter zu identifizieren. Dabei wird ein Model anhand von tausenden Kommentaren berechnet, welches jedes Wort in einen Vektor übersetzt. Vektoren von Wörtern mit ähnlicher Bedeutung liegen nah beieinander, z.B. „Merkel“ und „Bundeskanzlerin“. Zu jedem Wort wird die Ähnlichkeit anderer Wörter in Prozent angegeben. Mit Hilfe dieses Verfahrens können wir die Anzahl der Wörter im Wörterbuch erheblich vergrößern, um eine bessere Erklärbarkeit der Algorithmen zu erreichen. Die nachfolgende Grafik beschreibt die Funktionsweise von Word2Vec anhand eines fiktiven Beispiels im Kontext der gesammelten Kommentare.

Wir wenden das Word2Vec Verfahren nach ähnlichen Wörtern für jedes Wort in unserem initialen Wörterbuch an. Dabei wird die Prozentangabe der Ähnlichkeit mit dem Hass-Gehalt des Such-Worts verrechnet. Die ähnlichen Wörter werden mit verrechnetem Wert unserem Wörterbuch hinzugefügt. Als Ergebnis könnenwir die Anzahl der Wörter in unserem Wörterbuch erheblich erhöhen.

Im Supervised Learning beschreibt ein Klassifikationsproblem die Zuordnung von Daten zu vorher definierten Klassen. In diesem Fall handelt es sich um ein 2-Klassen-Problem, da ein Kommentar entweder in unserer Logik Hass oder keinen Hass enthält. Damit ein Computer diese Unterscheidung erkennen kann, muss man ihn „anlernen“.

Hierbei wird ein bewerteter Datensatz verwendet, auf Basis dessen der Computer selbstständig Muster erkennt und Regeln erstellt, welche als Ergebnis möglichst der Zielvariable (Hass oder kein Hass) entsprechen. Das Ergebnis hiervon ist ein Vorhersagemodell, welches Klassifikationen für neue Kommentare erstellen kann. Dem Model kann nun ein unbewerteter Kommentar übergeben werden und es klassifiziert diesen nach der Zielvariable.

In der Forschung ist die Klassifikation von Nutzer-generierten Kurztexten aus dem Internet (Tweets, Kommentare) ein relativ neues Forschungsfeld. Da Algorithmen im Allgemeinen lieber mit Zahlen statt Buchstaben arbeiten, müssen numerische Features aus dem Kommentar extrahiert werden. Die Herausforderung ist es, Features zu identifizieren, die den Inhalt des Kommentars möglichst umfassend abbilden. Bei der Auswahl von Features orientieren wir uns an einer Studie von Forschern der Yahoo Labs, die ähnliche Featuregruppen verwenden. Diese Feature-Gruppen fokussieren verschiedene Aspekte eines Kommentars und werden im folgenden beschrieben.

Feature-Gruppen

• N-Grams
• Word2Vec
• Doc2Vec
• Linguistics
• Extended Grams

Supervised Learning Verfahren

Das Aussehen des Klassifikationsmodells ist vom verwendeten Verfahren abhängig. Wir vergleichen hier zwei bekannte Varianten, welche die besten Ergebnisse lieferten.

• log
  Logistische Regression
• SVM
  Support Vector Machines

Für das Erstellen des Klassifikationsmodels sollten beide Klassen ungefähr gleich häufig im Datensatz vorkommen. Da die Verteilung zwischen Hass und Nicht-Hass Kommentaren nicht gleichverteilt ist, muss der Datensatz vor dem Erlernen durch den Algorithmus angepasst werden.

Beim Upsampling wird die Menge der Nicht-Hass gelabelten Kommentare als Ausgangsbasis verwendet und aus hasserfüllten Kommentaren Kopien dem Datensatz hinzugefügt, sodass die Mengen gleich groß sind. Beim im Projekt verwendeten Downsampling wird die kleinere Menge (Hass-Kommentare) als Basis verwendet und nur so viele Nicht-Hass-Kommentare verwendet, dass sich ein gleiches Verhältnis ergibt.

Qualität der Vorhersagemodelle

Um zu ermitteln, welche Featuregruppen am besten zusammenarbeiten wurden wir die verschiedenen Kombinationen der Featuregruppen getestet und anhand der Genauigkeit (Accuracy), und dem F1-Measure verglichen. Zur Vermeidung von Überanpassung wurde wie schon bei der Wörterbucherstellung ein Trainings- und Testset im Verhältnis 75:25 verwendet.

• Genauigkeit (Accuracy)
• F1 Measure

Feature-Gruppen können im Klassifikationsverfahren auch kombiniert werden. Die Selektion der Feature-Gruppen wurde daher schrittweise pro verwendetes Verfahren durchgeführt. Gestartet wurde mit nur einer möglichen Feature-Gruppe im Modell. Hier wurde die beste Feature-Gruppe selektiert und als Basis für den zweiten Schritt verwendet. Im zweiten Schritt wurde nun die beste Gruppe aus der ersten Auswahl verwendet und wieder alle übrigen Feature-Gruppen nacheinander durchprobiert und die beste selektiert.

Bei Anwendung der logistischen Regression auf das Hass-Wörterbuch konnten Vorhersagequoten von circa 68% /Accuracy) erreicht werden. Die besten Ergebnisse wurden bei logistischer Regression mit Word2Vec und erweiterten 2-Grams erzielt. Diese insgesamt 911 Features erreichten folgende Messwerte:

Unter Berücksichtigung der Einschränkungen unserer Datenerhebung werten wir die erreichte Genauigkeit von circa 70% als akzeptables Ergebnis. Die Yahoo-Labs Forscher, an denen wir uns orientiert haben, erreichten in einem ähnlichen Kontext allerdings deutlich bessere Quoten mit über 80%. Im Vergleich zum Projekt Cyberhate-Mining, standen bei Yahoo deutlich größere Datenmengen (> 1 Million) zum Erlernen und Testen der Algorithmen zur Verfügung. Unser Projekt basiert nur auf knapp 2.000 bewerteten Datensätzen. Dennoch konnte gezeigt werden, dass sich die algorithmischen Verfahren leicht auf deutsche Texte übetragen lassen. Wir sind zuversichtlich, die Genauigkeit in Zukunft in der Zusammenarbeit mit anderen Forschern sukzessive zu erhöhen, wenn mehr bewertete Lerndaten zur Verfügung stehen.

Für den Praxiseinsatz ist eine Genauigkeit von 70-80% jedoch problematisch und wird den hohen Qualitätsansprüchen von Zeitungsredaktionen kaum gerecht werden. Um eine möglichst gute Datenbasis zum Erlernen der Algorithmen zu erarbeiten, könnten Vorhersagemodelle möglichst großflächig erarbeitet werden (zum Beispiel im Zusammenarbeit von Medienunternehmen und Forschung). Insbesondere das gemeinsame Arbeiten an möglichst neutralen und belastbaren Datensätzen könnte die Vorhersagequalität verbessern. Es bleibt allerdings schwierig abzuschätzen, welche Qualität letztlich erreicht werden kann.

Es werden täglich neue Artikel zu polemischen Themen veröffentlich und viele Kommentare geschrieben. Für Mit unserer Datenbasis und der manuellen Bewertung konnten wir Vorhersagemodelle trainieren, mit denen sich auch neue Texte bewerten lassen. Um diese Überprüfungen möglichst effizient durchzuführen, wurde im Projekt Cyberhate-Mining auch eine Schnittstelle (API) konstruiert, welche von externen Anwendungen verwendet werden kann.

Die API ermöglicht es auch unsere werwendeten Methoden auf dieser Webseite direkt auszuprobieren. Dazu können Sie weiter unten auf der Webseite einen Text eingeben, für den anschließend getrennt vier verfügbare Modelle angewendet werden. Für größere Kommentarmengen ist auch eine Batch-Analyse möglich, bei der mehrere Kommentare zu einem Job zusammengefasst und parallel analysiert werden. So wäre die Einbindung von externen Datenbanken (beispielsweise in Medienunternehmen) theoretisch möglich.

Das Erstellen der Vorhersage funktioniert relativ schnell, weil wir unsere erstellten Vorhersagemodelle abspeichern und später wieder laden können. Die Modelle müssen nicht mit jeder Anfrage neu trainiert werden, was sehr lange dauern würde. Bei jeder Anfrage wird pro Modell in paralleler Verarbeitung eine Vorhersage getroffen und in einer Datenbank abgespeichert, von wo aus die API Anwendung die Ergebnisse auslesen kann. Selbst für einfache Analysen sind somit eine Vielzahl von Schritten notwendig, die in unterschiedlichen Programmen ausgeführt werden.

Ausprobieren

An dieser Stelle haben Sie die Möglichkeit interaktiv Kommentare zu analysieren. In der TextBox unten müssen Sie dazu einen Kommentar zwischen 200 und 2000 Zeichen eingeben und anschließend auf Auswerten klicken. Diese Einschränkungen bezüglich der Länge sind einerseits nötig, um eine sinnvolle Klassifizierung zu ermöglichen und andererseits um die Last auf unseren Servern klein zu halten. Einige Beispiel-Kommentare können Sie rechts neben der TextBox einfügen lassen.

In den Ergebnissen können Sie bei Klick auf einzelne Wörter, weitere Informationen anzeigen lassen. Dabei wird auch der Koeffizient angezeigt, den das Wort im Hass-Wörterbuch erhalten hat. Außerdem werden zehn ähnlichsten Worte nach der Word2Vec-Methode angezeigt.

• Stoppwörter sind grau markiert
• Wörter, die nach beiden wörterbuchbasierten Verfahren zu einer Hassbewertung beitragen, sind rot markiert. Dies bedeutet nicht, dass das Wort per sé hasserfüllt o.ä. ist, sondern dass es überdurchschnittlich häufig in den Kommentaren vorkommt, die im Rahmen der Bewertungsperiode als Hass klassifiziert wurden.
• Wörter, die nach beiden wörterbuchbasierten Verfahren zu einer Nicht-Hassbewertung beitragen, sind grün markiert
• Wörter, die beide wörterbuchbasierten Verfahren unterschiedlich bewerten, sind gelb markiert.