Databricks

Databricks historia börjar i norra Kalifornien: Vid forskningscentret för dataanalys AMPLab vid University of California i Berkeley kom den dåvarande doktoranden Matei Zaharia och professorn Ion Stoica fram till att de kunde skapa en snabbare databehandlingsmotor för att övervinna vad de ansåg vara prestandabegränsningar i Hadoops modell för dataåtkomst. De utvecklade Spark, ett ramverk för klusterberäkning med öppen källkod för Hadoop, släppte det som öppen källkod 2010 och överlämnade det till Apache Software Foundation 2013. Senare samma år gick de två – nu med titlarna teknisk chef respektive vd – samman med en grupp kollegor från AMPLab för att grunda Databricks och erbjuda en kommersiell distribution av Spark samt relaterade tjänster. Under resans gång väckte de intresse, lockade till sig investeringar och till och med några styrelseledamöter från de inflytelserika riskkapitalbolagen NEA och Andreesen Horowitz i Silicon Valley. Databricks uppdrag var finansierat, tydligt och ambitiöst: att revolutionera hur dataanalytiker kan utvinna mer värde ur Big Data.

• ODBC-anslutning

• Direkt stöd för SQL-till-Spark-integration

• Utbyggbarhet

• Stöd för Windows-, Linux- och Mac-plattformar

Spark erbjuder en enorm prestandaförbättring vid databehandling (upp till 100 gånger) jämfört med MapReduce. Databricks produktutbud har utökats till att omfatta plattformen Databricks Cloud, som stöds av Spark SQL (vilket har ersatt Shark). Men när de utvärderade marknaden för dataanalys insåg Stoica, Zaharia och teamet att Spark – oavsett prestanda – endast skulle lyckas om analytikerna kunde komma åt Spark-data med hjälp av sina egna BI-verktyg och metoder. ”Så fort man försöker säga till folk att de måste byta verktyg för att kunna använda sitt underliggande datalager har man redan förlorat”, konstaterar Databricks kundansvarige, Arsalan Tavakoli-Shiraji. ”Det var en självklarhet för oss: Om vi vill få användningen att ta fart framöver måste vi stödja dessa verktyg. Det är helt enkelt ett måste.”

Den insikten innebar att man måste säkerställa Spark-ODBC-anslutning till BI-verktyg som Tableau, Excel, Microstrategy, Qlik och andra. Ännu viktigare var att dessa målgrupper av analytiker behövde kunna komma åt Spark-data med hjälp av den datfrågemetod som de var mest vana vid: SQL. Och det ledde Databricks till Simba. ”När man tittar på marknaden … [när] man pratar med vem som helst inom branschen, är Simba svaret om man vill erbjuda den anslutningen”, förklarar Tavakoli-Shiraji. Databricks valde Simba för att tillhandahålla sin ODBC 3.8 Data Connector för Databricks Spark SQL, sin kraftfulla SQL-frågemotor för Apache Spark. Databricks inkluderar nu drivrutinen kostnadsfritt i sin Databricks Cloud-plattform. För Databricks innebär Simba ODBC Data Connector att Databricks-kunder kan köra frågor på sina Spark-data med sitt favoritverktyg för affärsanalys (som Tableau, Excel, Qlik, MicroStrategy eller andra) på Windows, Linux och Mac. ”En av de absolut mest efterfrågade funktionerna för Databricks Cloud är ’Anslut mina BI-verktyg så att de fungerar med det här’”, säger Tavakoli-Shiraji. ”Vad är det enklaste sättet att få igång användarna? Det är ODBC-anslutning [från Simba]. Den finns där, den är stabil och den fungerar.”

Ett snabbt utvecklingsprojekt blev ett värdefullt ”stort avtal” för Databricks och stärkte företagets engagemang för insightsoftware. ”Tableau Software sa till oss: ’Vi vill släppa en Spark-drivrutin för Mac inom kort’”, förklarar Tavakoli-Shiraji. ”Så vi kontaktade insightsoftware.” Utvecklingsteamet hos insightsoftware utökade snabbt Databricks Spark ODBC Data Connector till att fungera med Tableau för Mac. Reaktionen från partnern var omedelbar (och positiv). ”Till och med Tableau var förvånade över att de kunde leverera både Windows- och Mac-drivrutiner redan vid lanseringen”, fortsätter Tavakoli-Shiraji. ”Att vi kunde få till något sådant så snabbt … var fantastiskt.” Tavakoli-Shiraji drar slutsatsen att Databricks Cloud-användare uppskattar dess anslutningsmöjligheter och kompatibilitet med BI-verktyg: ”Vi har rivit barriärerna för mindre tekniskt kunniga användare så att de kan arbeta med sina data, även om de inte känner till alla komplexiteter som hanteras i bakgrunden.” Den av Simba utvecklade Databricks ODBC-drivrutinen finns tillgänglig från Databricks. Läs mer påhttp://www.databricks.com.