Beiträge

Maschinelles Lernen – Der Weg zur intelligenten Big Data Analyse

Der Umgang mit riesigen Datenmengen ist eine Herausforderung, die erhebliche Auswirkungen auf unterschiedliche Bereiche der Wirtschaft, Industrie und Wissenschaft hat. Die Verarbeitung des ständig wachsenden Datenaufkommens und die Gewinnung relevanter Insights gehören zu den zentralen Fragestellungen unserer Gesellschaft.

Ein Schlüssel um Big Data zu verarbeiten und auszuwerten, ist Maschinelles Lernen (engl. Machine Learning). Der Einsatz Maschineller Intelligenz ist dabei das aktuelle Trendthema im Bereich der Digitalisierung – Forschung und Anwendungen in diesem Bereich boomen. Sie werden die Zukunft unserer Alltags- und Arbeitswelt weiter prägen. Aktuelle Anwendungen sogenannter Social- oder Chat-Bots der Online-Marktführer florieren. Amazons Alexa, Googles Alpha Go und Microsofts Cortana lassen vermuten, was Maschinelles Lernen zukünftig mit sich bringen wird.

Was bedeutet Maschinelles Lernen?

Durch Machine Learning kann ein künstliches System komplexes Wissen aus Erfahrung generieren. Dafür lernt es aus konkreten Beispielen und kann das Erlernte im Anschluss verallgemeinern. Wichtig ist, dass es diese Beispiele nicht einfach auswendig lernt, sondern in den Daten Muster identifiziert, die dann auf unbekannte Daten transferiert werden.

Anwendungsfelder des Maschinellen Lernens im Online-Handel

Die Anwendungen von Maschinellem Lernen scheinen schier unbegrenzt. Im Online-Handel sind dabei obengenannte Chat- und Service-Bots zu nennen. Diese werden zum Beispiel in Live-Chats im Online-Shop zu Produkten, Versand oder Retoure befragt. Daneben spielen intelligente Prognosesysteme und Personalisierung für Online-Händler eine wichtige Rolle.

Die Datenmengen wachsen mit einer rasanten Geschwindigkeit und das befeuert die Technik doppelt: Zum Einen bilden diese den Ausgangspunkt für Maschinelles Lernen, zum Anderen machen Sie eine intelligente Datenselektion notwendig. Denn niemand möchte morgen noch hunderte Dokumente prüfen, wenn nur 2-3 relevant für eine Entscheidung sind. Diese Entwicklung wird auch nicht vor dem Handel haltmachen [..]“- Dr. Dominique Ziegelmayer, Director Trusted Enterprise

Beim Einsatz von Maschinellem Lernen stehen damit oft Applikationen für Endkonsumenten im Fokus. Doch Machine Learning ist im E-Commerce vor allem bei der Produktklassifizierung von Bedeutung. Hier gibt es eine hohe Anzahl von Produkten, die alle unterschiedliche Merkmale besitzen. Möchte man in diesem Datenberg Produkte einer Klasse zuordnen oder gleiche Produkte finden, treten häufig Probleme auf: Produktinformationen zu einem identischen Produkt können sehr unterschiedlich aussehen. Namen und Produktbeschreibungen stimmen häufig nicht überein und eine EAN ist nicht immer vorhanden. Besonders schwierig wird es, wenn man Artikel aus verschiedene Quellen in verschiedenen Sprachen vergleichen möchte. Dadurch werden Produkte von herkömmlichen Lösungen häufig falsch zugeordnet.

Erfolgsrezept Big Data Analyse

Eine manuelle Bereinigung der Daten ist zeit- und kostenintensiv. In Zeiten von Big Data sind Informationen außerdem derart verschieden, dass sie sich manuell nicht mehr überblicken lassen.  An dieser Stelle setzt Maschinelles Lernen an, das riesige Datenmengen zuverlässig analysieren kann – auf, für das menschliche Gehirn schwer nachvollziehbare, komplexe Art und Weise. Mit Hilfe intelligenter Algorithmen lassen sich Produktdaten zuverlässig zuordnen und eine manuelle Klassifizierung vermeiden.

Ausgereifte Algorithmen sind notwendig, um Big Data zu analysieren und zu verstehen. Hier versteckt sich auch das Geheimrezept unserer Business Intelligence Software. Der einzigartige Matching-Algorithmus von blackbee kann in den riesigen Datenmengen alle relevanten Merkmale ermitteln und so Gleichheit oder Unterschiedlichkeit der Produkte bestimmen. Hersteller und Händler können mit Hilfe von blackbee Wettbewerber mit gleichen oder ähnlichen Produkten im Internet beobachten. Dadurch treffen sie gewinnbringende Entscheidungen für ihre Sortimente und Preisstrategien.

Der selbstlernende Matching-Algorithmus von blackbee

Wie funktioniert das? Jedes Produkt hat spezielle Merkmale und Eigenschaften, die als Attribut hinterlegt sind. Durch diese Attribute lassen sich Produkte anhand bestimmter Parameter suchen – etwa Farbe, Material oder Größe. Der Abgleich (techn. Matching) von Produktdaten erfolgt also anhand ihrer Attribute. Der Erfolg des Matchings ist jedoch von der Kombination der richtigen Vergleichsmaße für unterschiedliche Attributwerte abhängig. Denn in den meisten Fällen führt ein einzelnes Maß nicht zu einem optimalen Ergebnis. Aufgrund einer Vielzahl von existierenden Ähnlichkeitsmaßen ist die Bestimmung einer effektiven Matchingstrategie jedoch eine enorm komplexe Aufgabe.

Maschinelle Lernverfahren, wie sie unser Matching-Algorithmus verwendet, reduzieren den manuellen Tuning-Aufwand, indem sie eine optimierte Matchingstrategie halbautomatisch bestimmen. Hierfür sind Beispiele für Matches und Nicht-Matches erforderlich. blackbee unterstützt die Generierung solcher Beispiele und stellt außerdem einen Feedbackmechanismus bereit. So können auftretende Zuordnungsfehler durch Feedback korrigiert werden. Das System lernt anschließend aus diesen Korrekturen – es verallgemeinert die Beispiele. Dabei erhält es mit jedem Durchlauf neue Informationen zur Verbesserung der Treffgenauigkeit, die sich so nach und nach bis zu 98,2 Prozent erhöht.

Mit Machine Learning zu intelligenten Businessprozessen

Mithilfe des selbstlernenden Algorithmus findet blackbee automatisierte Lösungen für das Matching von Produktdaten, ohne starr vorprogrammierten Regeln folgen zu müssen. Dadurch erreicht die Software ein wesentlich höheres Maß an Effizienz. Da wo andere Lösungen an den Herausforderungen von Big Data scheitern, erkennt blackbee selbst die komplexesten Produkte verschiedenster Anbieter. Die Daten werden dabei so aufbereitet, dass für Händler und Hersteller wichtige Informationen zu ihrer Position im Wettbewerb offensichtlich sind. So beschleunigen und optimieren sie ihre Prozesse und können ihren Wettbewerbsvorsprung ausbauen.

Profitieren Sie von den Vorteilen unserer selbstlernenden, automatisierten Softwarelösung. Jetzt blackbee testen!

Dank Big Data Matching zum Wettbewerbsvorteil

Hinter dem Begriff Big Data stehen riesige Datenmengen im Internet, die in jeder Sekunde um schätzungsweise 70 Terabyte wachsen. Das hat zum Vorteil, dass Hochleistungsrechner in dieser Vielzahl an Daten Muster erkennen, die ein Mensch nicht sieht. Aus diesen Erkenntnissen werden Studien für Forschung und Wissenschaft in kürzester Zeit gewonnen. Teil von Big Data sind allerdings ebenso duplizierte, unvollständige oder falsche Informationen. Zum Beispiel bei Produkten,  woraus sich erhebliche Probleme für Händler und Hersteller ergeben. Um es im E-Commerce mit Wettbewerbern aufzunehmen, führt kein Weg daran vorbei, falsche Daten zu bereinigen: Das erfolgt durch das Product Matching.

Doch wie genau entstehen falsche Daten? Eine große Rolle spielen Duplikate. Duplikate bedeuten, dass ein Produkt zweimal im eigenen Shop auftaucht. Das kann bereits beim Einspeisen der Daten geschehen, zum Beispiel bei der Herstellerbezeichnung: Einmal schreibt es sich HP und ein andermal Hewlett & Packard. Noch schwieriger wird es, wenn es um die Attribute eines Produktes geht: Bei einem Trainingsschuh sind die Attribute Material, Absatzhöhe und Verschlussform eingespeist, bei einem anderen wiederum Farbe, Schuhweite und Sohlenmaterial. In manchen Fällen beschreibt eine Artikelnummer verschiedene Ausführungen eines Produktes. Diese Probleme erschweren eine eindeutige Identifizierung des Produktes. Und damit haben Wettbewerber nicht nur im eigenen Shop zu kämpfen: Zur Marktanalyse müssen sie andere Onlinemarktplätze unter die Lupe nehmen und deren Produktdaten mit den eigenen vergleichen. Das stellt sich als schwierig heraus, wenn Produktinformationen nicht übereinstimmen.

 

Produkt-Matching: Oftmals beschreibt eine Artikelnummer mehrere Ausführungen des Produktes

In diesem Beispiel beschreibt eine Artikelnummer mehrere Ausführungen eines Produktes. Dabei unterscheiden sich die Attribute stark voneinander. Diese fehlende Eindeutigkeit erschwert die Identifizierung des Produktes, wenn es mit anderen Angeboten im Internet verglichen werden soll.

Darum ist es erstrebenswert, die Produktdaten zu verbessern und Duplikate zu löschen. Das ist händisch bei einem großen Datenvolumen kaum zu bewerkstelligen. Ein Rechenbeispiel: Wenn Sie 1.000 verschiedene Paar Turnschuhe in Ihrem Sortiment aufführen, müssten Sie 49.500 Vergleiche vornehmen. Und in diesem Beispiel ist die Zahl an Turnschuhen eine kleine Menge. Gerade in Zeiten, in denen der Kunde mit nur wenigen Klicks und mit Hilfe von  Preisvergleichsportalen schnelle Kaufentscheidungen trifft, müssen Händler Produktdaten klar und eindeutig aufbereiten. Dafür eignet sich das Matching, wie es die Business Intelligence Software blackbee durchführt. Wir zeigen Ihnen im Folgenden, mit welchen Schritten blackbee ein erfolgreiches Matching erreicht.

Schritt 1: Wir extrahieren die Dateien

Sie als Kunde stellen uns zunächst eine Produktliste zur Verfügung, bei der unsere Software blackbee das Matching durchführen soll. Dabei spielt es keine Rolle, ob es sich um hunderte oder zehntausende Produkte handelt. Sie legen anschließend die Quellen fest, die blackbee untersucht: Das umfasst Online-Marktplätze wie beispielsweise Amazon und Preisvergleichsportale wie billiger.de. Mittels einer Abfragestrategie generiert unsere Software eine Liste mit allen Angeboten der Quellen – dieser Schritt nennt sich Crawling. Dabei passt sich das System den variierenden URL- und Seitenstrukturen der Quellen an. Sie entscheiden, ob Sie eine tägliche oder wöchentliche Abfrage vornehmen wollen.

Schritt 2: Wir standardisieren die Attributwerte

Bevor es an das eigentliche Matching geht, leistet blackbee eine Vorverarbeitung (oder: Preprocessing). Erinnern Sie sich an das Bezeichnungsbeispiel von HP und Hewlett & Packard: blackbee vereinheitlicht nun diese Produktdaten und fügt weitere, fehlende Attribute hinzu. Mit Hilfe dieser ergänzten Attribute lassen sich Produkte genau identifizieren.

Diese vier Schritte vollführt blackbee, um hochvalide Daten zu gewinnen

Der Matchingprozess bei blackbee: Die Software reduziert den manuellen Aufwand und aufgrund fehlerhafter Daten getroffene Fehlentscheidungen.

 

Schritt 3: Wir vergleichen mittels Matching die Datensätze miteinander

Nun kommt es zum eigentlichen Matching: Mittels der Attribute vergleicht unsere Software blackbee die Produktdaten miteinander. Um das Ergebnis effizient zu gestalten, kombiniert die Software mehrere Attributwerte. blackbee wendet dafür ein maschinelles Lernverfahren an: die Software generiert  sogenannte Trainingsdaten – das sind Beispiele für Matches und Nicht-Matches. Diese Trainingsdaten geben dem System Feedback und zeigen ihm, wo Zuordnungsfehler geschehen und korrigiert werden müssen. Das System merkt sich diese Korrekturen, lernt somit bei jedem Durchlauf dazu und erreicht eine sehr hohe Treffgenauigkeit. Dadurch genießen die gewonnenen Daten eine hohe Validität.

Schritt 4: Wir bereiten das Ergebnis auf

Beim letzten Schritt, dem Reporting, stellt blackbee Ihnen die Daten zur Verfügung. Dabei bietet die Software die Möglichkeit, die Ergebnisse für weitergehende Analysen und für verschiedenste Reports zu nutzen. Wenn Sie Preisbeobachtungen für ein bestimmtes Produkt durchführen möchten, kann die Software zum Beispiel eine Liste der Top 5-Anbieter generieren.

Besonders der Einsatz von blackbees lernenden Matching-Algorithmen verbessert die Qualität der Produktdaten. Damit sichern Sie sich einen strategischen Vorteil gegenüber anderen Wettbewerbern im Umgang mit großen Datenmengen. Denn mit hochvaliden Daten und fehlerfreiem Produktmanagement schafft Ihnen blackbee eine Grundlage für ein erfolgreiches Pricing.

Lesen Sie für weitere Hintergründe zum Thema Matching unsere beiden Whitepaper „Matching von Produktdaten“ und „Product Matching Excellence“.

Sie wollen Ihre Produktdaten bereinigen und die Entwicklungen Ihrer Produkte am Markt beobachten? Testen Sie jetzt blackbee!