Databricks

Databricksin tarina alkaa Pohjois-Kaliforniassa: Kalifornian yliopiston Berkeleyn kampuksella sijaitsevassa AMPLab-tietojenkäsittelytutkimuskeskuksessa silloinen tohtoriopiskelija Matei Zaharia ja professori Ion Stoica päättivät, että he voisivat kehittää nopeamman tietojenkäsittelymoottorin voittamaan Hadoopin tietojenkäyttömallissa havaitsemansa suorituskykyrajoitukset. He kehittivät Sparkin, Hadoopille tarkoitetun avoimen lähdekoodin klusterilaskentakehyksen, julkaisivat sen avoimena lähdekoodina vuonna 2010 ja luovuttivat sen Apache Software Foundationille vuonna 2013. Myöhemmin samana vuonna kaksikko – jotka olivat nyt saaneet uudet nimikkeet yrityksen teknologiajohtajaksi (CTO) ja toimitusjohtajaksi (CEO) – perusti yhdessä joukon AMPLab-kollegoitaan kanssa Databricksin ja alkoi tarjota Sparkin kaupallista jakelua sekä siihen liittyviä palveluita. Matkan varrella he herättivät kiinnostusta, saivat investointeja ja jopa muutaman hallituksen jäsenen vaikutusvaltaisilta Silicon Valleyn pääomasijoitusyhtiöiltä NEA:lta ja Andreesen Horowitzilta. Databricksin missio oli rahoitettu, selkeä ja kunnianhimoinen: mullistaa tapa, jolla data-analyytikot voivat saada enemmän arvoa big datasta.

• ODBC-yhteydet

• Suora SQL-Spark-yhteensopivuus

• Laajennettavuus

• Windows-, Linux- ja Mac-alustojen tuki

Spark tarjoaa huomattavan parannuksen tietojenkäsittelyn suorituskykyyn (jopa 100-kertaisen) verrattuna MapReduceen. Databricksin tuotevalikoima on laajentunut kattamaan Databricks Cloud -alustan, jota tukee Spark SQL (joka on korvannut Sharkin). Mutta arvioidessaan data-analytiikan markkinatilannetta Stoica, Zaharia ja tiimi tajusivat, että Spark – suorituskyvystä riippumatta – menestyisi vain, jos analyytikot voisivat käyttää Spark-tietoja omilla suosikkityökaluillaan ja -menetelmillään. ”Heti kun yrität kertoa ihmisille, että heidän on vaihdettava työkalujaan voidakseen käyttää taustalla olevaa tietovarastoaan, olet jo hävinnyt”, toteaa Databricksin asiakassuhteista vastaava johtaja Arsalan Tavakoli-Shiraji. ”Meille asia oli selvä: jos haluamme saada tuotteen yleistymään, meidän on tuettava näitä työkaluja. Se on pelin perussääntö.”

Tämän oivalluksen seurauksena piti varmistaa Sparkin ODBC-yhteydet BI-työkaluihin, kuten Tableauun, Exceliin, Microstrategyyn, Qlikiin ja muihin. Vielä tärkeämpää oli, että kyseisten analyytikoiden piti pystyä hyödyntämään Spark-tietoja käyttämällä heille tutuinta tietokyselymenetelmää: SQL:ää. Ja tämä johti Databricksin valitsemaan Simban. ”Kun tarkastellaan markkinatilannetta … [ja] keskustellaan alan toimijoiden kanssa, Simba on ratkaisu, jos halutaan tarjota kyseinen yhteys”, selittää Tavakoli-Shiraji. Databricks valitsi Simban toimittamaan ODBC 3.8 -tietoliitännän Databricks Spark SQL:lle, joka on sen tehokas SQL-kyselymoottori Apache Sparkille. Databricks tarjoaa nyt ajurin ilmaiseksi osana Databricks Cloud -alustaansa. Databricksin asiakkaat voivat Simba ODBC -tietoliitäntälaitteen avulla tehdä kyselyjä Spark-tietoihinsa haluamallaan BI-työkalulla (kuten Tableau, Excel, Qlik, MicroStrategy tai muilla) Windowsissa, Linuxissa ja Macissa. ”Yksi Databricks Cloudin eniten toivotuista ominaisuuksista on ’Liitä BI-työkaluni tähän’”, sanoo Tavakoli-Shiraji. ”Mikä on yksinkertaisin tapa saada käyttäjät alkuun? Se on [Simban tarjoama] ODBC-yhteys. Se on käytettävissä, se on vakaa, se toimii.”

Nopea kehityshanke muuttui Databricksille arvokkaaksi ”suuriksi kaupoiksi” ja vahvisti yrityksen sitoutumista insightsoftwareen. ”Tableau Software sanoi meille: ’Haluamme julkaista Mac-Spark-ajurin pian’”, Tavakoli-Shiraji selittää. ”Joten otimme yhteyttä insightsoftwareen.” Insightsoftwaren kehitystiimi laajensi nopeasti Databricksin Spark ODBC -tietoliitännän kattamaan Tableau for Mac -sovelluksen. Kumppanien reaktio oli välitön (ja myönteinen). ”Jopa Tableau oli yllättynyt siitä, että he pystyivät toimittamaan sekä Windows- että Mac-ajurit jo julkaisun yhteydessä”, Tavakoli-Shiraji jatkaa. ”Se, että pystyimme toteuttamaan tällaisen asian nopeasti… oli upeaa.” Tavakoli-Shiraji toteaa lopuksi, että Databricks Cloudin käyttäjät arvostavat sen liitettävyyttä ja yhteensopivuutta BI-työkalujen kanssa: ”Olemme poistaneet esteitä, jotta vähemmän teknisesti perehtyneet käyttäjät voivat työskennellä tietojensa kanssa, vaikka he eivät tietäisikään kaikista taustalla piilevistä monimutkaisuuksista.” Simban kehittämä Databricks ODBC -ajuri on saatavilla Databricksiltä. Lisätietoja osoitteessahttp://www.databricks.com.