Big Data-Management für meistgeklicktes Preisvergleichsportal

Hadoop-Implementierung im laufenden Betrieb

Nutzen im Überblick

  • Integration des Hadoop-Systems in die vorhandene IT-Architektur
  • Upgrade des Hadoop-Systems auf aktuelle Version
  • Anbindung des neuen Hadoop-Systems an die Windows-Benutzerverwaltung
  • Statusüberwachung, Fehleranalyse und -behebung
  • Aufrechterhaltung des laufenden Betriebs
  • Fachliche Beratung der IT-, Fach- und BI-Abteilung

Projektanforderung

Die Internetseite „billiger.de“, eine Marke der solute GmbH, ist eines der größten und meistgeklickten Online-Preisvergleichsportale Deutschlands. Diese Plattform hilft Konsumenten, preisgünstige Angebote bei Onlineshops zu finden. Detaillierte Produktinformationen erleichtern die Entscheidung zwischen Millionen Angeboten aus tausenden Shops. Diese Angebote werden täglich mehrfach aktualisiert, so dass für Händler und Konsumenten Transparenz und Übersicht im Online-Markt gewährleistet sind. Entsprechend hoch ist die dafür zu verarbeitende Datenmenge.

Hadoop ist ein freies Framework, dass durch seine Schnittstellen und seine Skalierbarkeit flexibel, kostengünstig, effizient und zukunftssicher insbesondere bei polystrukturierten Massendaten eingesetzt werden kann. Internetgiganten wie Google, Yahoo und Facebook zeigen bereits seit Längerem, dass sich die Hadoop-Technologie derzeit am besten zur Bewältigung solcher Datenvolumina eignet.  

Auf der „grünen Wiese“ erstellte solute ein entsprechendes System und erkannte schnell, dass aufgrund der Komplexität und des Umfangs des Vorhabens externe Beratung benötigt wird.

Lösung

Hadoop-Spezialist KYBEIDOS begann nach einer kurzen Anforderungsanalyse und Architekturberatung mit der Integration des Hadoop-Systems in die vorhandene IT-Architektur von „billiger.de“ – und das im laufenden Betrieb. Dank des Systemkonfigurationswerkzeugs „Puppet“ konnten sämtliche Installationen und Konfigurationen vollautomatisch durchgeführt werden. Entscheidend war die Statusüberwachung, das Erkennen von Ausfällen sowie die Analyse und Behebung von Fehlern. Darüber hinaus wurde die Konfiguration an spezifische Anwendungsfälle angepasst. Für die Datenanreicherung und -verarbeitung wurde Penthao DI genutzt. Hinzu kamen Kafka, Flume und HBase, eine skalierbare, einfache Datenbank zur Verwaltung sehr großer Datenmengen innerhalb eines Hadoop-Clusters.

Anschließend erhielt das Hadoop-System ein Upgrade auf die aktuelle Version sowie eine Anbindung an die Microsoft Windows Benutzerverwaltung. Vier Monate nach Projektbeginn hatte KYBEIDOS alle Anforderungen erfolgreich erfüllt und parallel flexible Unterstützung für die BI-Abteilung geleistet.

Résumé

Bislang hatte sich KYBEIDOS bei seinen Kundenkreisen hauptsächlich auf Banken und Versicherungen konzentriert. Die erfolgreiche Projektabwicklung für das Vergleichsportal „billiger.de“ zeigt, dass KYBEIDOS auch in der e-Commerce-Branche seine fachspezifische BI-Expertise erstklassig einbringen kann.

Für die Implementierung von Hadoop-Systemen arbeitet KYBEIDOS mit den Hadoop-Distributoren cloudera und Hortonworks zusammen. Mit ihnen wurden bereits mehrere Fallstudien, Proofs of Concept (POC) und Projekte abgewickelt.

Die Hadoop-Systemüberführung und -Anbindung im laufenden Betrieb des Vergleichsportals „billiger.de“ war bislang das größte und anspruchsvollste Hadoop-Projekt dieser Art für KYBEIDOS. Durch die Prozesse, die dort im laufenden Betrieb implementiert wurden, die Verarbeitung der Grunddaten und das gewissenhafte Monitoring hat KYBEIDOS bewiesen, dass sie Hadoop-Lösungen in einem hoch frequentierten Umfeld anbieten können. Dieses Know-how und diese Erfahrungen lassen sich künftig auch auf andere E-Commerce-Anbieter und andere Branchen übertragen. 

Downloads

Dr. Joachim Giehl, CEO YORXS

„KYBEIDOS setzte unsere Anforderungen professionell um und beriet alle Projektpartner sehr kompetent. Beeindruckt war ich auch, wie flexibel und fair KYBEIDOS auf geänderte Umstände reagierte.“ 
Gunter Bach, Director IT solute GmbH │ „billiger.de“