Databricks

Die Geschichte von Databricks beginnt in Nordkalifornien: Im AMPLab, dem Forschungszentrum für Datenanalyse an der University of California in Berkeley, kamen der damalige Doktorand Matei Zaharia und Professor Ion Stoica zu dem Schluss, dass sie eine schnellere Datenverarbeitungs-Engine entwickeln könnten, um die ihrer Meinung nach bestehenden Leistungsbeschränkungen des Hadoop-Datenzugriffsmodells zu überwinden. Sie entwickelten Spark, das Open-Source-Framework für Cluster-Computing unter Hadoop, stellten es 2010 als Open Source zur Verfügung und übergaben es 2013 an die Apache Software Foundation. Später im selben Jahr schlossen sich die beiden – mittlerweile als CTO bzw. CEO des Unternehmens tätig – mit einer Gruppe ihrer AMPLab-Kollegen zusammen, um Databricks zu gründen und eine kommerzielle Distribution von Spark sowie damit verbundene Dienstleistungen anzubieten. Dabei weckten sie das Interesse, erhielten Investitionen und konnten sogar einige Vorstandsmitglieder der einflussreichen Silicon-Valley-Risikokapitalfirmen NEA und Andreesen Horowitz gewinnen. Die Mission von Databricks war finanziert, klar definiert und ehrgeizig: die Art und Weise zu revolutionieren, wie Datenanalysten mehr Wert aus Big Data gewinnen können.

• ODBC-Anbindung

• Direkte SQL-zu-Spark-Funktionalität

• Erweiterbarkeit

• Unterstützung für Windows-, Linux- und Mac-Plattformen

Spark bietet im Vergleich zu MapReduce eine massive Leistungssteigerung bei der Datenverarbeitung (bis zu 100-fach). Die Databricks-Produktpalette wurde um die Databricks-Cloud-Plattform erweitert, die von Spark SQL unterstützt wird (das Shark abgelöst hat). Bei der Analyse des Marktes für Datenanalytik erkannten Stoica, Zaharia und ihr Team jedoch, dass Spark – unabhängig von der Leistung – nur dann erfolgreich sein würde, wenn Analysten mit ihren bevorzugten BI-Tools und -Methoden auf die Spark-Daten zugreifen könnten. „In dem Moment, in dem man den Leuten sagt, sie müssten ihre Tools wechseln, um ihren zugrunde liegenden Datenspeicher nutzen zu können, hat man schon verloren“, bemerkt Arsalan Tavakoli-Shiraji, Customer Engagement Lead bei Databricks. „Für uns war das ganz klar: Wenn wir die Akzeptanz weiter vorantreiben wollen, müssen wir diese Tools unterstützen. Das ist einfach eine Grundvoraussetzung.“

Diese Erkenntnis bedeutete, dass die ODBC-Konnektivität von Spark zu BI-Tools wie Tableau, Excel, Microstrategy, Qlik und anderen sichergestellt werden musste. Noch wichtiger war, dass diese Zielanalysten in der Lage sein mussten, auf Spark-Daten mithilfe des Datenabfrageansatzes zuzugreifen, mit dem sie am besten vertraut waren: SQL. Und das führte Databricks zu Simba. „Wenn man sich den Markt ansieht … [und] mit den Akteuren in diesem Bereich spricht, ist Simba die Antwort, wenn man diese Konnektivität bereitstellen möchte“, erklärt Tavakoli-Shiraji. Databricks entschied sich für Simba, um dessen ODBC 3.8-Datenkonnektor für Databricks Spark SQL bereitzustellen – seine leistungsstarke SQL-Abfrage-Engine für Apache Spark. Databricks stellt den Treiber nun kostenlos in seiner Databricks Cloud-Plattform zur Verfügung. Für Databricks ermöglicht der Simba-ODBC-Datenkonnektor den Kunden, ihre Spark-Daten mit ihrem bevorzugten BI-Tool (wie Tableau, Excel, Qlik, MicroStrategy oder anderen) unter Windows, Linux und Mac abzufragen. „Eine der am häufigsten nachgefragten Funktionen für die Databricks Cloud ist: ‚Ich möchte meine BI-Tools damit verbinden‘“, sagt Tavakoli-Shiraji. „Was ist der einfachste Weg, um den Nutzern den Einstieg zu ermöglichen? Es ist die ODBC-Konnektivität [von Simba]. Sie ist vorhanden, sie ist stabil, sie funktioniert.“

Ein schnelles Entwicklungsprojekt entwickelte sich für Databricks zu einem wertvollen „Großauftrag“ und bestärkte das Unternehmen in seinem Engagement für insightsoftware. „Tableau Software sagte zu uns: ‚Wir wollen in Kürze einen Mac-Spark-Treiber veröffentlichen‘“, erklärt Tavakoli-Shiraji. „Also haben wir insightsoftware angerufen.“ Das Entwicklerteam von insightsoftware erweiterte den Databricks Spark ODBC-Datenkonnektor umgehend für Tableau auf dem Mac. Die Reaktion der Partner erfolgte umgehend (und positiv). „Sogar Tableau war überrascht, dass sie bereits zum Start sowohl Windows- als auch Mac-Treiber bereitstellen konnten“, fährt Tavakoli-Shiraji fort. „Die Tatsache, dass wir so etwas so schnell umsetzen konnten … war großartig.“ Tavakoli-Shiraji kommt zu dem Schluss, dass Nutzer der Databricks Cloud die Konnektivität und Kompatibilität mit BI-Tools schätzen: „Wir haben die Hürden für weniger technisch versierte Nutzer abgebaut, damit sie mit ihren Daten arbeiten können, auch wenn sie nicht alle Komplexitäten kennen, die im Hintergrund abstrahiert werden.“ Der von Simba entwickelte Databricks-ODBC-Treiber ist bei Databricks erhältlich. Weitere Informationen finden Sie unterhttp://www.databricks.com.