Datenaufbereitung im Text Mining: Unterschied zwischen den Versionen
Keine Bearbeitungszusammenfassung |
Keine Bearbeitungszusammenfassung |
||
Zeile 1: | Zeile 1: | ||
Aufgrund der Digitalisierung hat der Bestand an Datenmengen, besser bekannt als Big Data, enorm zugenommen. Dazu zählen auch unstrukturierte Datensätze wie zum Beispiel Lageberichte, Internetforen und Kundennachrichten. Text Mining bietet aufgrund von Algorithmen verschiedene Verfahren, um diese Daten zu analysieren (Kaiser, 2009, S. 91). | |||
==Prozess der Datenaufbereitung== | |||
Der [[Text Mining]] Prozess umfasst sechs Teilschritte. Einer davon ist die Datenaufbereitung. Hierbei werden die unstrukturierten Daten einer sprachlichen Datenbereinigung durch den Computer unterzogen. Ziel dabei ist es, die wesentlichen Informationen aus den Texten zu filtern und, wie in Abbildung 1 dargestellt, aus den Texten reine Wortlisten zu erstellen. Dadurch können die Daten anschliessend durch den Computer analysiert werden (Jo, 2019, S. 19). | Der [[Text Mining]] Prozess umfasst sechs Teilschritte. Einer davon ist die Datenaufbereitung. Hierbei werden die unstrukturierten Daten einer sprachlichen Datenbereinigung durch den Computer unterzogen. Ziel dabei ist es, die wesentlichen Informationen aus den Texten zu filtern und, wie in Abbildung 1 dargestellt, aus den Texten reine Wortlisten zu erstellen. Dadurch können die Daten anschliessend durch den Computer analysiert werden (Jo, 2019, S. 19). | ||
[[Datei:Datenaufbereitung im Text Mining.png|miniatur|750px|zentriert|Abbildung 1 Datenaufbereitung im Text Mining (in Anlehnung an Jo, 2019, S. 20)]] | [[Datei:Datenaufbereitung im Text Mining.png|miniatur|750px|zentriert|Abbildung 1 Datenaufbereitung im Text Mining (in Anlehnung an Jo, 2019, S. 20)]] | ||
Zeile 17: | Zeile 20: | ||
Jo, T. (2019). [https://link.springer.com/book/10.1007/978-3-319-91815-0 Text Mining. Concepts, Implementation, and Big Data Challenge]. Cham: Springer. | Jo, T. (2019). [https://link.springer.com/book/10.1007/978-3-319-91815-0 Text Mining. Concepts, Implementation, and Big Data Challenge]. Cham: Springer. | ||
Kaiser, C. (2009). Opinion Mining im Web 2.0 - Konzept und Fallbeispiel. HMD 268, S. 90-99. | |||
Walter, T. (2012). [https://elearning.hslu.ch/ilias/goto.php?target=file_4250074_download&client_id=hslu Controlling von Kundenmeinungen durch Text Mining]. Controlling: Vol. 24, S. 698-703, | Walter, T. (2012). [https://elearning.hslu.ch/ilias/goto.php?target=file_4250074_download&client_id=hslu Controlling von Kundenmeinungen durch Text Mining]. Controlling: Vol. 24, S. 698-703, |
Version vom 10. Dezember 2019, 20:19 Uhr
Aufgrund der Digitalisierung hat der Bestand an Datenmengen, besser bekannt als Big Data, enorm zugenommen. Dazu zählen auch unstrukturierte Datensätze wie zum Beispiel Lageberichte, Internetforen und Kundennachrichten. Text Mining bietet aufgrund von Algorithmen verschiedene Verfahren, um diese Daten zu analysieren (Kaiser, 2009, S. 91).
Prozess der Datenaufbereitung
Der Text Mining Prozess umfasst sechs Teilschritte. Einer davon ist die Datenaufbereitung. Hierbei werden die unstrukturierten Daten einer sprachlichen Datenbereinigung durch den Computer unterzogen. Ziel dabei ist es, die wesentlichen Informationen aus den Texten zu filtern und, wie in Abbildung 1 dargestellt, aus den Texten reine Wortlisten zu erstellen. Dadurch können die Daten anschliessend durch den Computer analysiert werden (Jo, 2019, S. 19).
Tokenization
Das System erkennt Sequenzen von aufeinanderfolgenden Buchstaben als Tokens. Diese Tokens werden mittels Leerschlägen oder Interpunktionszeichen voneinander getrennt. Im Rahmen der Tokenization werden somit, Texte in dessen Wörter zerlegt. Spezielle Zeichen sowie Ziffern werden während diesem Prozess entfernt und für die anschliessenden Schritte nicht mehr beachtet (Jo, 2019, S. 21-22).
Stemming
Die bei der Tokenization eruierten Wörter werden im Rahmen des Stemmings zu ihrem Wortstamm rückgebildet. Das hat zur Folge, dass in der Pluralform vorkommende Nomen in dessen Singularform umgewandelt werden. Bei konjugierten Verben sowie gesteigerten Adjektiven (Komparativ oder Superlativ) findet eine Transformation in deren Grundform statt (Jo, 2019, S. 23-24; Walter, 2012, S. 700).
Stoppwortbereinigung
In der Token-Liste sind einige Wörter enthalten, welche lediglich eine grammatikalische Funktion erfüllen aber nicht helfen, den Inhalt des Textes auszudrücken. In diesem Teilschritt werden diese irrelevanten Stoppwörter aus der Liste entfernt. Typische Stoppwörter sind Artikel wie “der”, “die”, “das” sowie Konjunktionen wie “und”, “dass”, “aber”. Auch Präpositionen wie “in”, “von” und “zu” werden als irrelevant erachtet und entfernt (Walter, 2012, S. 700).
Literaturverzeichnis
Jo, T. (2019). Text Mining. Concepts, Implementation, and Big Data Challenge. Cham: Springer.
Kaiser, C. (2009). Opinion Mining im Web 2.0 - Konzept und Fallbeispiel. HMD 268, S. 90-99.
Walter, T. (2012). Controlling von Kundenmeinungen durch Text Mining. Controlling: Vol. 24, S. 698-703,