Datenaufbereitung im Text Mining

Aufgrund der Digitalisierung hat der Bestand an Datenmengen, besser bekannt als Big Data, enorm zugenommen. Dazu zählen auch unstrukturierte Datensätze wie zum Beispiel Lageberichte, Internetforen und Kundennachrichten. Text Mining bietet aufgrund von Algorithmen verschiedene Verfahren, um diese Daten zu analysieren (Kaiser, 2009, S. 91).

In folgendem Eintrag wird nur auf den technischen Prozess der Datenaufbereitung für Text Mining eingegangen. Weitere Informationen zum Text Mining finden sie hier.

Prozess der Datenaufbereitung

Der Text Mining Prozess umfasst sechs Teilschritte. Einer davon ist die Datenaufbereitung. Hierbei werden die unstrukturierten Daten einer sprachlichen Datenbereinigung durch den Computer unterzogen. Ziel dabei ist es, die wesentlichen Informationen aus den Texten zu filtern und, wie in Abbildung 1 dargestellt, aus den Texten reine Wortlisten zu erstellen. Dadurch können die Daten anschliessend durch den Computer analysiert werden (Jo, 2019, S. 19).

Abbildung 1 Datenaufbereitung im Text Mining (in Anlehnung an Jo, 2019, S. 20)

Tokenization

Das System erkennt Sequenzen von aufeinanderfolgenden Buchstaben als Tokens. Diese Tokens werden mittels Leerschlägen oder Interpunktionszeichen voneinander getrennt. Im Rahmen der Tokenization werden somit, Texte in dessen Wörter zerlegt. Spezielle Zeichen sowie Ziffern werden während diesem Prozess entfernt und für die anschliessenden Schritte nicht mehr beachtet (Jo, 2019, S. 21-22).

Abbildung 2: Tokenization

Stemming

Die bei der Tokenization eruierten Wörter werden im Rahmen des Stemmings zu ihrem Wortstamm rückgebildet. Das hat zur Folge, dass in der Pluralform vorkommende Nomen in dessen Singularform umgewandelt werden. Bei konjugierten Verben sowie gesteigerten Adjektiven (Komparativ oder Superlativ) findet eine Transformation in deren Grundform statt (Jo, 2019, S. 23-24; Walter, 2012, S. 700).

Abbildung 3: Stemming

Stoppwortbereinigung

In der Token-Liste sind einige Wörter enthalten, welche lediglich eine grammatikalische Funktion erfüllen aber nicht helfen, den Inhalt des Textes auszudrücken. In diesem Teilschritt werden diese irrelevanten Stoppwörter aus der Liste entfernt. Typische Stoppwörter sind Artikel wie “der”, “die”, “das” sowie Konjunktionen wie “und”, “dass”, “aber”. Auch Präpositionen wie “in”, “von” und “zu” werden als irrelevant erachtet und entfernt (Walter, 2012, S. 700).

Abbildung 4: Stoppwortbereinigung

Literaturverzeichnis

• Jo, T. (2019). Text Mining. Concepts, Implementation, and Big Data Challenge. Cham: Springer.

• Kaiser, C. (2009). Opinion Mining im Web 2.0 - Konzept und Fallbeispiel. HMD 268, S. 90-99.

• Walter, T. (2012). Controlling von Kundenmeinungen durch Text Mining. Controlling: Vol. 24, S. 698-703.

Autoren

Jana Kupper, Samuel Markwalder, Viviane Müller, Rina Preni