Databricks

La historia de Databricks comienza en el norte de California: mientras trabajaban en el centro de investigación en análisis de datos AMPLab de la Universidad de California en Berkeley, el entonces estudiante de doctorado Matei Zaharia y el profesor Ion Stoica decidieron que podían crear un motor de procesamiento de datos más rápido para superar lo que consideraban limitaciones de rendimiento en el modelo de acceso a datos de Hadoop. Crearon Spark, el marco de computación en clúster de código abierto para Hadoop, lo convirtieron en código abierto en 2010 y lo cedieron a la Apache Software Foundation en 2013. Más adelante ese mismo año, ambos —que para entonces ocupaban los cargos de director técnico y director ejecutivo de la empresa, respectivamente— se unieron a un grupo de compañeros del AMPLab para fundar Databricks y ofrecer una distribución comercial de Spark, así como servicios relacionados. A lo largo del camino, despertaron el interés, atrajeron inversiones e incluso consiguieron incorporar a algunos miembros del consejo de administración procedentes de influyentes empresas de capital riesgo de Silicon Valley, como NEA y Andreesen Horowitz. La misión de Databricks estaba bien financiada, era clara y ambiciosa: revolucionar la forma en que los analistas de datos podían extraer más valor del Big Data.

• Conectividad ODBC

• Funcionalidad de conexión directa de SQL a Spark

• Extensibilidad

• Compatibilidad con las plataformas Windows, Linux y Mac

Spark ofrece una mejora considerable en el rendimiento del procesamiento de datos (hasta 100 veces mayor) con respecto a MapReduce. La gama de productos de Databricks se ha ampliado para incluir la plataforma Databricks Cloud, compatible con Spark SQL (que ha sustituido a Shark). Pero al analizar el mercado del análisis de datos, Stoica, Zaharia y su equipo se dieron cuenta de que Spark —independientemente de su rendimiento— solo tendría éxito si los analistas pudieran acceder a los datos de Spark utilizando sus herramientas y métodos de BI preferidos. «En el momento en que intentas decirle a la gente que tiene que cambiar de herramientas para utilizar su almacén de datos subyacente, ya has perdido», observa Arsalan Tavakoli-Shiraji, responsable de relación con los clientes de Databricks. «Para nosotros era obvio: si queremos que se adopte la solución en el futuro, tenemos que ser compatibles con estas herramientas. Es lo mínimo que se puede exigir».

Darse cuenta de ello significaba garantizar la conectividad de Spark a través de ODBC con herramientas de BI como Tableau, Excel, Microstrategy, Qlik y otras. Y lo que es más importante, esos analistas tenían que poder acceder a los datos de Spark utilizando el método de consulta de datos con el que estaban más familiarizados: SQL. Y eso llevó a Databricks a Simba. «Si echas un vistazo al mercado… [cuando] hablas con cualquiera de los profesionales del sector, Simba es la respuesta si quieres ofrecer esa conectividad», explica Tavakoli-Shiraji. Databricks eligió a Simba para proporcionar su conector de datos ODBC 3.8 para Databricks Spark SQL, su potente motor de consultas SQL para Apache Spark. Databricks incluye ahora el controlador de forma gratuita en su plataforma Databricks Cloud. Para Databricks, el conector de datos ODBC de Simba permite a los clientes de Databricks consultar sus datos de Spark con su herramienta de BI preferida (como Tableau, Excel, Qlik, MicroStrategy u otras) en Windows, Linux y Mac. «Una de las características más solicitadas para Databricks Cloud es “conectar mis herramientas de BI para trabajar con esto”», afirma Tavakoli-Shiraji. «¿Cuál es la forma más sencilla de que la gente se ponga en marcha? Es la conectividad ODBC [de Simba]. Está ahí, es estable y funciona».

Un proyecto de desarrollo de entrega rápida se convirtió en un valioso «gran acuerdo» para Databricks y reforzó el compromiso de la empresa con insightsoftware. «Tableau Software nos dijo: “Queremos lanzar un controlador Spark para Mac en poco tiempo”», explica Tavakoli-Shiraji. «Así que llamamos a insightsoftware». El equipo de desarrollo de insightsoftware amplió rápidamente el conector de datos ODBC de Databricks Spark para Tableau en Mac. La reacción de los socios fue inmediata (y positiva). «Incluso Tableau se sorprendió de que pudieran ofrecer controladores tanto para Windows como para Mac desde el lanzamiento», continúa Tavakoli-Shiraji. «El hecho de que pudiéramos hacer algo así en tan poco tiempo… fue fantástico». Tavakoli-Shiraji concluye que los usuarios de Databricks Cloud valoran su conectividad y compatibilidad con las herramientas de BI: «Hemos eliminado las barreras para que los usuarios con menos conocimientos técnicos puedan trabajar con sus datos, aunque no conozcan todas las complejidades que se ocultan tras el escenario». El controlador ODBC de Databricks, desarrollado por Simba, está disponible en Databricks. Más información enhttp://www.databricks.com.