数据块
Databricks 是一个数据和人工智能平台，它将数据工程、分析和机器学习统一在一个“lakehouse”基础上。
概述
It matters because it lets companies manage huge datasets and build AI directly where their data already lives.
深入探讨
Databricks 于 2013 年由 Apache Spark 的原始创建者（包括来自加州大学伯克利分校 AMPLab 的 Ali Ghodsi 和 Matei Zaharia）创立。其标志性理念是“lakehouse”——将数据湖廉价、灵活的存储与数据仓库的可靠性和性能相结合，并通过开放的 Delta Lake 表格式实现。顶部是用于治理的 Unity Catalog、用于实验跟踪的 MLflow 以及基于 Spark 构建的 Databricks Runtime。 2023 年，Databricks 收购了 MosaicML，随后发布了开放式大型语言模型 DBRX，标志着向生成式 AI 的硬转向。该平台现在销售一个“数据智能平台”，用于在企业数据上构建和服务人工智能代理。
技术洞察
Databricks 的核心是在 Apache Spark 上运行分布式计算，将大型作业分散到机器集群上。 Delta Lake 在廉价的对象存储之上添加了 ACID 事务和事务日志，因此数据湖的行为就像数据库一样可靠。 MLflow 标准化了 ML 生命周期——跟踪运行、打包模型和管理部署。对于生成人工智能，Mosaic AI 工具可以处理微调、向量搜索和模型服务，让公司可以直接针对受管理的数据构建检索增强助理。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
数据块的未来
Databricks 正在竞相成为企业基于自己的数据构建人工智能的地方，与 Snowflake 和云巨头竞争。预计人工智能代理、受控检索和允许非专家以自然语言查询数据的工具将得到大量投资。它的开源赌注（Delta Lake、MLflow、DBRX）旨在锁定思想份额，同时实现服务和治理的货币化。凭借极高的私募估值和稳定的 IPO 猜测，Databricks 将 Lakehouse 定位为企业生成人工智能的默认基底。
现实世界的实施
一家零售商每晚在 Databricks 上运行 Spark 作业，将数十亿销售记录处理到干净的表中以进行预测。
数据科学团队使用 Databricks 上的 MLflow 来跟踪实验并部署流失预测模型。
一家银行使用 Mosaic AI 矢量搜索构建了一个受监管的聊天机器人，可以回答有关内部政策文件的问题。
分析小组使用 Delta Lake 为混乱的数据湖提供可靠的 BI 仪表板事务表。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Databricks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Databricks?
Databricks 是一个数据和人工智能平台，它将数据工程、分析和机器学习统一在一个“lakehouse”基础上。这很重要，因为它可以让公司管理庞大的数据集，并直接在数据已经存在的地方构建人工智能。
Databricks 是由哪个开源项目的原始创建者创立的？
Databricks 由加州大学伯克利分校 AMPLab 的 Apache Spark 创建者于 2013 年创立。
“湖屋”建筑结合了什么？
湖屋将灵活、廉价的湖存储与仓库级的可靠性和速度融为一体。
哪种开放表格式为 Databricks 数据湖提供 ACID 事务？
Delta Lake 在廉价的对象存储之上添加了事务日志和 ACID 保证。
Databricks 上的 MLflow 有何用途？
MLflow 标准化了跟踪运行、打包模型和管理部署。
哪种收购和开放模式标志着 Databricks 转向生成式 AI？
Databricks于2023年收购了MosaicML，并发布了开放的DBRX模型，标志着其对生成式AI的推动。