Briques de données
Databricks est une plateforme de données et d'IA qui unifie l'ingénierie des données, l'analyse et l'apprentissage automatique sur une seule fondation « Lakehouse ».
Aperçu
It matters because it lets companies manage huge datasets and build AI directly where their data already lives.
Plongée profonde
Databricks a été fondée en 2013 par les créateurs originaux d'Apache Spark, dont Ali Ghodsi et Matei Zaharia, de l'AMPLab de l'UC Berkeley. Son idée phare est le « lakehouse », combinant le stockage flexible et bon marché d'un lac de données avec la fiabilité et les performances d'un entrepôt de données, permis par le format de table ouvert Delta Lake. Au sommet se trouvent Unity Catalog pour la gouvernance, MLflow pour le suivi des expériences et le Databricks Runtime basé sur Spark. En 2023, Databricks a acquis MosaicML et a ensuite publié DBRX, un grand modèle de langage ouvert, signalant un tournant décisif vers l'IA générative. La plateforme commercialise désormais une « plateforme d'intelligence de données » pour créer et servir des agents d'IA sur les données d'entreprise.
Aperçu technique
À la base, Databricks exécute des calculs distribués sur Apache Spark, répartissant les gros travaux entre des clusters de machines. Delta Lake ajoute des transactions ACID et un journal des transactions en plus du stockage d'objets bon marché, de sorte que les lacs de données se comportent de manière fiable comme des bases de données. MLflow standardise le cycle de vie du ML : suivi des exécutions, packaging des modèles et gestion du déploiement. Pour l'IA générative, les outils d'IA Mosaic gèrent le réglage fin, la recherche de vecteurs et la diffusion de modèles, permettant aux entreprises de créer des assistants de récupération augmentés directement sur les données gouvernées.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir des Databricks
Databricks est en passe de devenir l'endroit où les entreprises construisent l'IA sur leurs propres données, en concurrence avec Snowflake et les géants du cloud. Attendez-vous à de lourds investissements dans des agents d’IA, une récupération gouvernée et des outils permettant à des non-experts d’interroger des données en langage naturel. Ses paris open source (Delta Lake, MLflow, DBRX) visent à verrouiller le partage d'esprit tout en monétisant le service et la gouvernance. Avec une valorisation privée exorbitante et des spéculations constantes sur les introductions en bourse, Databricks positionne Lakehouse comme le substrat par défaut pour l’IA générative d’entreprise.
Mise en œuvre dans le monde réel
Un détaillant exécute des tâches Spark tous les soirs sur Databricks pour traiter des milliards d'enregistrements de ventes dans des tableaux propres à des fins de prévision.
Une équipe de science des données utilise MLflow sur Databricks pour suivre les expériences et déployer un modèle de prédiction du désabonnement.
Une banque crée un chatbot gouverné avec la recherche vectorielle Mosaic AI qui répond aux questions sur les documents de politique interne.
Un groupe d'analyse utilise Delta Lake pour fournir à un lac de données désordonné des tableaux transactionnels fiables pour les tableaux de bord BI.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Databricks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
ElevenLabs
Questions fréquemment posées
What is Databricks?
Databricks est une plateforme de données et d'IA qui unifie l'ingénierie des données, l'analyse et l'apprentissage automatique sur une seule fondation « Lakehouse ». C’est important car cela permet aux entreprises de gérer d’énormes ensembles de données et de créer une IA directement là où se trouvent déjà leurs données.
Databricks a été fondé par les créateurs originaux de quel projet open source ?
Databricks a été lancé en 2013 par les créateurs d'Apache Spark de l'AMPLab de l'UC Berkeley.
Que combine l'architecture « Lakehouse » ?
Le Lakehouse fusionne un stockage en lac flexible et bon marché avec une fiabilité et une rapidité de niveau entrepôt.
Quel format de table ouverte donne les transactions ACID aux lacs de données Databricks ?
Delta Lake ajoute un journal des transactions et des garanties ACID en plus d'un stockage d'objets bon marché.
À quoi sert MLflow sur Databricks ?
MLflow standardise les exécutions de suivi, les modèles de packaging et la gestion du déploiement.
Quelle acquisition et quel modèle ouvert ont marqué le pivot de Databricks vers l'IA générative ?
Databricks a acquis MosaicML en 2023 et a publié le modèle ouvert DBRX, marquant ainsi sa poussée vers l'IA générative.