Databricks

L'histoire de Databricks commence en Californie du Nord : alors qu'ils travaillaient au centre de recherche en analyse de données AMPLab de l'université de Californie à Berkeley, Matei Zaharia, alors doctorant, et le professeur Ion Stoica ont décidé de créer un moteur de traitement des données plus rapide afin de surmonter ce qu'ils considéraient comme des limites de performance du modèle d'accès aux données Hadoop. Ils ont développé Spark, le framework open source de calcul en cluster pour Hadoop, l’ont mis en open source en 2010, puis l’ont cédé à l’Apache Software Foundation en 2013. Plus tard cette même année, les deux hommes — désormais respectivement directeur technique et PDG de l’entreprise — se sont associés à un groupe de leurs collègues de l’AMPLab pour fonder Databricks et proposer une distribution commerciale de Spark, ainsi que des services associés. Au fil du temps, ils ont suscité l’intérêt, attiré des investissements et même accueilli au sein de leur conseil d’administration quelques membres issus des influentes sociétés de capital-risque de la Silicon Valley que sont NEA et Andreesen Horowitz. La mission de Databricks était clairement définie, sans ambiguïté et ambitieuse : révolutionner la manière dont les analystes de données pouvaient tirer davantage de valeur du Big Data.

• Connectivité ODBC

• Fonctionnalité permettant l'exécution directe de requêtes SQL dans Spark

• Extensibilité

• Prise en charge des plateformes Windows, Linux et Mac

Spark offre une amélioration considérable des performances de traitement des données (jusqu'à 100 fois supérieure) par rapport à MapReduce. La gamme de solutions Databricks s'est élargie pour inclure la plateforme Databricks Cloud, prise en charge par Spark SQL (qui a remplacé Shark). Mais en analysant le marché de l’analyse de données, Stoica, Zaharia et leur équipe ont compris que Spark — quelles que soient ses performances — ne s’imposerait que si les analystes pouvaient accéder aux données Spark à l’aide de leurs outils et méthodes de BI préférés. « Dès que vous essayez de dire aux gens qu’ils doivent changer d’outils pour utiliser leur base de données sous-jacente, vous avez perdu », observe Arsalan Tavakoli-Shiraji, responsable de l’engagement client chez Databricks. « Pour nous, cela allait de soi : si nous voulons que notre solution soit adoptée à l’avenir, nous devons prendre en charge ces outils. C’est tout simplement la condition sine qua non. »

Cette prise de conscience impliquait de garantir la connectivité ODBC de Spark à des outils de BI tels que Tableau, Excel, Microstrategy, Qlik et bien d’autres. Plus important encore, ces analystes devaient pouvoir accéder aux données Spark en utilisant le langage de requête qui leur était le plus familier : le SQL. C’est ce qui a conduit Databricks à choisir Simba. « Quand on observe le marché… [et] qu’on discute avec n’importe quel acteur du secteur, Simba s’impose comme la solution idéale pour offrir cette connectivité », explique M. Tavakoli-Shiraji. Databricks a choisi Simba pour fournir son connecteur de données ODBC 3.8 destiné à Databricks Spark SQL, son puissant moteur de requêtes SQL pour Apache Spark. Databricks intègre désormais gratuitement ce pilote dans sa plateforme Databricks Cloud. Pour Databricks, le connecteur de données ODBC de Simba permet à ses clients d’interroger leurs données Spark à l’aide de l’outil BI de leur choix (comme Tableau, Excel, Qlik, MicroStrategy ou d’autres) sous Windows, Linux et Mac. « L’une des fonctionnalités les plus demandées pour Databricks Cloud est la possibilité de "connecter mes outils BI pour travailler avec cette plateforme" », explique M. Tavakoli-Shiraji. « Quel est le moyen le plus simple de permettre aux utilisateurs de se lancer ? C’est la connectivité ODBC [de Simba]. Elle est disponible, elle est stable, elle fonctionne. »

Un projet de développement réalisé dans des délais très courts s’est transformé en une « affaire majeure » pour Databricks, et a renforcé l’engagement de l’entreprise envers insightsoftware. « Tableau Software nous a dit : “Nous voulons lancer un pilote Spark pour Mac dans les plus brefs délais” », explique Tavakoli-Shiraji. « Nous avons donc contacté insightsoftware. » L’équipe de développement d’insightsoftware a rapidement étendu le connecteur de données ODBC Databricks Spark à Tableau pour Mac. La réaction des partenaires a été immédiate (et positive). « Même Tableau a été surpris de pouvoir proposer à la fois des pilotes Windows et Mac dès le lancement », poursuit Tavakoli-Shiraji. « Le fait que nous ayons pu réaliser cela aussi rapidement… c’était formidable. » Tavakoli-Shiraji conclut que les utilisateurs de Databricks Cloud apprécient sa connectivité et sa compatibilité avec les outils de BI : « Nous avons supprimé les obstacles qui empêchaient les utilisateurs moins expérimentés de travailler avec leurs données, même s’ils ne connaissent pas toutes les complexités qui sont masquées en arrière-plan. » Le pilote ODBC Databricks développé par Simba est disponible auprès de Databricks. Pour en savoir plus, rendez-vous surhttp://www.databricks.com.