Alle Artikel mit dem Schlagwort: data mining

False Positive, na und? – Data Mining, Überwachungsstaat und der ganze Rest (2/4)

Veröffentlicht von Alexander Plaum

Ein Gastbeitrag von Christoph Henkelmann (Firmenseite, privates Blog). Redaktion: AP Nachdem wir im ersten Teil (Data-Mining 101, Data-Mining-Arten, Lernarten) die wichtigsten Grundbegriffe geklärt und die Vorgeschichte dieses Postings kurz beleuchtet haben, schauen wir uns heute Data Mining an einem konkreten Beispiel an: Es geht um die Filterung von E-Mails. Im dritten Teil wollen wir dann – soviel sei schon verraten – kritische Gedanken zur Zuverlässigkeit maschinenbasierter Entscheidungsysteme formulieren, wobei ein (hoffentlich nicht zu makabres) Gedankenspiel rund ums „Aussieben“ verdächtiger Personen eine zentrale Rolle spielen wird. Zunächst aber: Teil 2: Hallo Wortvektor, hallo Spam! Preprocessing Wie kann nun ein Algorithmus aus einer Liste von Einkäufen feststellen, welches Buch uns als nächstes interessieren könnte? Und aus dem Text einer Nachricht, ob es sich um nette Geburtstagsgrüße oder nervige Werbung für Potenzmittelchen handelt? Alle zuvor beschriebenen Analyseverfahren brauchen Daten in einer ganz speziellen Form, um etwas damit anfangen zu können. Das Preprocessing ist der wohl wichtigste Schritt beim Data-Mining und für die Qualität der Ergebnisse absolut entscheidend. Betrachten wir anhand eines ganz einfachen Beispiels, wie Daten präpariert werden …

False Positive, na und? – Data Mining, Überwachungsstaat und der ganze Rest (1/4)

Veröffentlicht von Alexander Plaum

Durch den Hype um „Big Data“ einerseits und den NSA-Abhörskandal andererseits sind Begriffe wie Data Mining, Machine Learning & Co. plötzlich in aller Munde. Oft wird aber nur oberflächlich diskutiert, die genauen technischen Abläufe sind unklar, die Möglichkeiten und Konsequenzen moderner Tools werden entweder verharmlost oder verteufelt. Der folgende, voraussichtlich vierteilige Gastbeitrag von „AppGuy“ Christoph Henkelmann (Firmenseite, privates Blog) soll dem etwas entgegensetzen und auf möglichst nüchterne Art zwei grundlegenden Fragen nachgehen: Wie kann man mit Hilfe von Computerprogrammen überhaupt aus Daten einen Sinn erarbeiten? Warum kann dieses „sinnvolle“ Arbeitsergebnis möglicherweise ungenau, unzuverlässig, gefährlich sein? Die Idee zu diesem Post entstand nach einem ähnlich gelagerten Vortrag von Christoph auf dem letzten Braincamp, der später noch ausgiebig privat diskutiert und schließlich in Teamarbeit ins oreillyblog überführt wurde. Teil 1: Data-Mining 101, Data-Mining-Arten, Lernverfahren Buzzword-Alarm! Zunächst schalten wir einen Gang zurück und betrachten, was sich hinter den inflationär gebrauchten Fachbegriffen eigentlich verbirgt: Big Data bedeutet schlicht und ergreifend, dass es sich um viele Daten handelt, die verarbeitet werden. Ansonsten geht es hier v.a. um Implementierung bzw. um eine Reihe …

Aus dem Leben eines Datenforschers

Veröffentlicht von Alexander Plaum

Ein Gastbeitrag von Klaas Bollhoefer. Ich bin Data Scientist. Ein Datenforscher. Jemand, der Probebohrungen im wieder entdeckten Rohstoff Daten vornimmt. Und damit Mitglied dieser sagenumwobenen Gruppe von Experten, über die im Umfeld von Big Data aktuell so viele reden. Hilary Mason, Chief Data Scientist bei bit.ly und Popstar dieser neuen Disziplin, hat Data Science einmal als Schnittstellenkompetenz beschrieben. Data Science liegt da, wo Computerwissenschaften, Statistik und Mathematik, Ingenieurskunst und „Hacking“ (hier: der neugierige, kreative Umgang mit Computern), Design und Algorithmen zusammentreffen. Data Science ist ein multidisziplinärer Raum, in dem neue Ideen und Lösungen entstehen. Hilary Mason nennt die Menschen, die diesen Raum bewohnen, „awesome nerds“ (zu Deutsch: fantastische Computerfreaks) oder, businesstauglicher: „Data Scientists“. Diese Definition erscheint mir nicht vollständig, fehlt ihr doch der entscheidende Produkt- bzw. Geschäftsbezug. Neben dem „Was“ (was für Daten habe ich?) und dem „Wie“ (wie kreiere ich neues Wissen aus diesen Daten mit all den Big-Data- Technologien und künstlichen Intelligenzen?) ist noch eine andere Frage auschlaggebend, nämlich die nach dem Sinn und Zweck des Unterfangens. Welches Problem möchte ich lösen? Welche Potenziale …