Databricks
Databricks là nền tảng dữ liệu và AI hợp nhất kỹ thuật dữ liệu, phân tích và học máy trên một nền tảng 'hồ' duy nhất.
Tổng quan
Nó quan trọng vì nó cho phép các công ty quản lý bộ dữ liệu khổng lồ và xây dựng AI trực tiếp tại nơi dữ liệu của họ đã tồn tại.
Lặn sâu
Databricks được thành lập vào năm 2013 bởi những người sáng tạo ban đầu của Apache Spark, bao gồm Ali Ghodsi và Matei Zaharia, từ AMPLab của UC Berkeley. Ý tưởng đặc trưng của nó là 'lakehouse'—kết hợp khả năng lưu trữ linh hoạt, giá rẻ của hồ dữ liệu với độ tin cậy và hiệu suất của kho dữ liệu, được hỗ trợ bởi định dạng bảng Delta Lake mở. Trên cùng là Danh mục Unity để quản trị, MLflow để theo dõi thử nghiệm và Thời gian chạy Databricks được xây dựng trên Spark. Vào năm 2023, Databricks đã mua lại KhảmML và sau đó phát hành DBRX, một mô hình ngôn ngữ mở lớn, báo hiệu một bước chuyển hướng cứng rắn sang AI sáng tạo. Nền tảng này hiện tiếp thị 'Nền tảng thông minh dữ liệu' để xây dựng và phục vụ các tác nhân AI trên dữ liệu doanh nghiệp.
Hiểu biết kỹ thuật
Về cốt lõi, Databricks chạy tính toán phân tán trên Apache Spark, phân chia các công việc lớn trên các cụm máy. Delta Lake bổ sung các giao dịch ACID và nhật ký giao dịch bên trên bộ lưu trữ đối tượng giá rẻ, do đó các hồ dữ liệu hoạt động đáng tin cậy giống như cơ sở dữ liệu. MLflow chuẩn hóa vòng đời ML—các lần chạy theo dõi, mô hình đóng gói và quản lý việc triển khai. Đối với AI tổng quát, các công cụ AI khảm xử lý việc tinh chỉnh, tìm kiếm vectơ và phân phối mô hình, cho phép các công ty xây dựng trợ lý tăng cường truy xuất trực tiếp dựa trên dữ liệu được quản lý.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của Databricks
Databricks đang chạy đua để trở thành nơi các doanh nghiệp xây dựng AI trên dữ liệu của riêng họ, cạnh tranh với Snowflake và những gã khổng lồ về đám mây. Mong đợi sự đầu tư lớn vào các tác nhân AI, khả năng truy xuất có quản lý và các công cụ cho phép những người không phải là chuyên gia truy vấn dữ liệu bằng ngôn ngữ tự nhiên. Các hoạt động đặt cược nguồn mở của nó (Delta Lake, MLflow, DBRX) nhằm mục đích thu hút sự chia sẻ tư duy trong khi kiếm tiền từ việc phục vụ và quản trị. Với mức định giá tư nhân cao ngất trời và hoạt động đầu cơ IPO ổn định, Databricks đang định vị nhà hồ làm chất nền mặc định cho AI tạo ra doanh nghiệp.
Triển khai trong thế giới thực
Một nhà bán lẻ chạy các công việc Spark hàng đêm trên Databricks để xử lý hàng tỷ hồ sơ bán hàng vào các bảng rõ ràng để dự báo.
Nhóm khoa học dữ liệu sử dụng MLflow trên Databricks để theo dõi các thử nghiệm và triển khai mô hình dự đoán tỷ lệ rời bỏ.
Một ngân hàng xây dựng một chatbot được quản lý bằng tính năng tìm kiếm vector khảm AI để trả lời các câu hỏi về các tài liệu chính sách nội bộ.
Một nhóm phân tích sử dụng Delta Lake để cung cấp các bảng giao dịch, đáng tin cậy cho hồ dữ liệu lộn xộn cho bảng điều khiển BI.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Databricks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
ElevenLabs
Câu hỏi thường gặp
Databricks là gì?
Databricks là nền tảng dữ liệu và AI hợp nhất kỹ thuật dữ liệu, phân tích và học máy trên một nền tảng 'hồ' duy nhất. Điều này quan trọng vì nó cho phép các công ty quản lý các bộ dữ liệu khổng lồ và xây dựng AI trực tiếp tại nơi dữ liệu của họ đã tồn tại.
Databricks được thành lập bởi những người sáng tạo ban đầu của dự án nguồn mở nào?
Databricks được bắt đầu vào năm 2013 bởi những người sáng tạo Apache Spark từ AMPLab của UC Berkeley.
Kiến trúc 'lakehouse' kết hợp những gì?
Lakehouse kết hợp khả năng lưu trữ hồ linh hoạt, giá rẻ với độ tin cậy và tốc độ cấp nhà kho.
Định dạng bảng mở nào cung cấp cho các hồ dữ liệu Databricks các giao dịch ACID?
Delta Lake bổ sung nhật ký giao dịch và đảm bảo ACID bên cạnh việc lưu trữ đối tượng giá rẻ.
MLflow được sử dụng để làm gì trên Databricks?
MLflow tiêu chuẩn hóa các lần chạy theo dõi, mô hình đóng gói và quản lý việc triển khai.
Mô hình mua lại và mở nào đã báo hiệu sự chuyển hướng của Databricks sang AI sáng tạo?
Databricks đã mua lại KhảmML vào năm 2023 và phát hành mô hình DBRX mở, đánh dấu sự phát triển mạnh mẽ về AI của nó.