Business Case: Big Data-Plattform für den Versandhandel

Das Projekt wurde für einen der umsatzstärksten deutschen Versandhändler durchgeführt, dessen Internetseite der wichtigste Vertriebsweg ist. Das Warensortiment umfasst neben Bekleidung und Accessoires auch Haus- und Heimtextilien sowie Kleinmöbel. Über seinen Onlineshop werden 30.000 Artikel angeboten und über 30 Millionen Kunden erreicht, davon 9,5 Millionen Kunden allein in Deutschland. Entsprechend gigantisch ist die zu verarbeitende Datenmenge. 

Die Handelsgesellschaft hatte sich deswegen für die vielversprechende Zukunftstechnologie Hadoop als zentrale Plattform zur Datenverarbeitung und -analyse entschieden. Hadoop ist ein freies Framework, das durch seine Schnittstellen und seine Skalierbarkeit flexibel, effizient und kostengünstig insbesondere bei polystrukturierten Massendaten eingesetzt werden kann. Im Rahmen eines ambitionierten Big Data-Projekts kooperierten der Hadoop-Spezialist KYBEIDOS und das Rechenzentrum BOREUS erstmals miteinander. Aus dieser ersten erfolgreichen Zusammenarbeit entstand eine strategische Partnerschaft mit wegweisenden Perspektiven für sicheres Cloud Computing, Big Data-Management, IOT und Industrie 4.0.

BOREUS stellte dem Unternehmen die notwendigen Hardware- und Software- Komponenten sowie die passende Netzwerkarchitektur bereit. Auf dieser Gesamtarchitektur installierte und konfigurierte KYBEIDOS die anvisierte Enterprise Hadoop-Umgebung. Durch den Einsatz von Automatisierungswerkzeugen (u.a. SaltStack) wurden diese Installationen und Konfigurationen vollautomatisch durchgeführt. Entscheidend war die Statusüberwachung, das Erkennen von Ausfällen sowie die Fehleranalyse und -behebung. 

Data Engineers und Data Scientists von KYBEIDOS implementierten anschließend exemplarisch unterschiedliche Big Data- Use Cases für die parallele Datenverarbeitung, Machine Learning sowie Deep Learning und unterstützten deren Produktivstellung und operativen Betrieb. Vier Monate nach Projektbeginn hatten KYBEIDOS und BOREUS alle Anforderungen erfolgreich erfüllt. Die innovative Big Data-Lösung ist auf flexible Anpassungen ausgerichtet und kann dank der eingesetzten Open Source-Technologie jederzeit technisch an geänderte Gegebenheiten und Wünsche adaptiert werden.