Zukunft aus Ihren Daten
Unsere IT-Berater
verstehen Ihre Strategie

Kontaktformular

Haben Sie Fragen zu unseren Leistungen oder Lösungsangeboten? Sehr gerne vereinbaren wir mit Ihnen einen Kennenlern-Termin.

Bitte schreiben Sie uns in wenigen Zeilen, was Ihr Anliegen ist. Wir rufen Sie zeitnah zurück.

* Pflichtfelder

Ihre Nachricht wurde erfolgreich übermittelt. In Kürze wird sich ein Mitarbeiter via E-Mail bei Ihnen melden.
Ihre Nachricht konnte nicht übermittelt werden. Bitte prüfen Sie Ihre Eingaben.

Business Case: Big Data-Management für Vergleichsportal Billiger.de

Hadoop-Implementierung im laufenden Betrieb

Projektanforderungen/Aufgaben

Die Internetseite „billiger.de“, eine Marke der solute GmbH, ist eines der größten und meistgeklickten Online-Preisvergleichsportale Deutschlands. Diese Plattform hilft Konsumenten, preisgünstige Angebote bei Onlineshops zu finden. Detaillierte Produktinformationen erleichtern die Entscheidung zwischen Millionen Angeboten aus tausenden Shops. Diese Angebote werden täglich mehrfach aktualisiert, so dass für Händler und Konsumenten Transparenz und Übersicht im Online-Markt gewährleistet sind. Entsprechend hoch ist die dafür zu verarbeitende Datenmenge.

Hadoop ist ein freies Framework, dass durch seine Schnittstellen und seine Skalierbarkeit flexibel, kostengünstig, effizient und zukunftssicher insbesondere bei polystrukturierten Massendaten eingesetzt werden kann. Internetgiganten wie Google, Yahoo und Facebook zeigen bereits seit Längerem, dass sich die Hadoop-Technologie derzeit am besten zur Bewältigung solcher Datenvolumina eignet.  

Auf der „grünen Wiese“ erstellte solute ein entsprechendes System und erkannte schnell, dass aufgrund der Komplexität und des Umfangs des Vorhabens externe Beratung benötigt wird.

Preisvergleichsportale wie Billiger.de benötigen eine moderne Infrastruktur, um die unterschiedlichen Kanäle bedienen und die vielfältigen Daten gezielt auszuwerten zu können.

Das ist unser Beitrag

Hadoop-Spezialist KYBEIDOS begann nach einer kurzen Anforderungsanalyse und Architekturberatung mit der Integration des Hadoop-Systems in die vorhandene IT-Architektur von „billiger.de“ – und das im laufenden Betrieb. Dank des Systemkonfigurationswerkzeugs „Puppet“ konnten sämtliche Installationen und Konfigurationen vollautomatisch durchgeführt werden. Entscheidend war die Statusüberwachung, das Erkennen von Ausfällen sowie die Analyse und Behebung von Fehlern. Darüber hinaus wurde die Konfiguration an spezifische Anwendungsfälle angepasst. Für die Datenanreicherung und -verarbeitung wurde Penthao DI genutzt. Hinzu kamen Kafka, Flume und HBase, eine skalierbare, einfache Datenbank zur Verwaltung sehr großer Datenmengen innerhalb eines Hadoop-Clusters.

Anschließend erhielt das Hadoop-System ein Upgrade auf die aktuelle Version sowie eine Anbindung an die Microsoft Windows Benutzerverwaltung. Vier Monate nach Projektbeginn hatte KYBEIDOS alle Anforderungen erfolgreich erfüllt und parallel flexible Unterstützung für die BI-Abteilung geleistet.

KYBEIDOS setzte unsere Anforderungen professionell um und beriet alle Projektpartner sehr kompetent. Beeindruckt war ich auch, wie flexibel und fair KYBEIDOS auf geänderte Umstände reagierte.

Gunter Bach, Director IT solute GmbH │ „billiger.de“

Nutzen im Überblick

    N
  • Integration des Hadoop-Systems in die vorhandene IT-Architektur

  • N
  • Upgrade des Hadoop-Systems auf aktuelle Version

  • N
  • Anbindung des neuen Hadoop-Systems an die Windows-Benutzerverwaltung

  • N
  • Statusüberwachung, Fehleranalyse und -behebung

  • N
  • Aufrechterhaltung des laufenden Betriebs

  • N
  • Fachliche Beratung der IT-, Fach- und BI-Abteilung

Das Projekt auf einen Blick

Branche:

  • E-Commerce

  • Vergleichsportal

  • Mittelstand

Projektpartner:

  • Management

  • Fach-Abteilung

  • IT-Abteilung

  • BI-Abteilung

Technologien:

  • Hadoop
  • Kafka
  • Puppet
  • HBase
  • Flume
  • Pentaho DI
  • Flume

Bedarf:

  • Integration eines Hadoop-Systems in die vorhandene Infrastruktur

Kybeidos Beitrag:

  • Beratung (techn./fachl.)
  • Tool-Evaluierung
  • Systemüberführung
  • Systemanbindung
  • Upgrade
  • Operating
  • Monitoring
  • Support