Appearance
Databricks
Databricks 是一家总部位于美国旧金山的数据与 AI 统一平台公司，成立于 2013 年，由 UC 伯克利 AMPLab 的 Apache Spark 创始团队创立，包括 Ali Ghodsi（CEO）、Matei Zaharia、Reynold Xin 等。它是 Lakehouse 架构的开创者和定义者，致力于统一数据湖与数据仓库的优势。
核心定位
Databricks 的定位是**"数据智能平台"（Data Intelligence Platform）**。它将数据工程、数据科学、机器学习和生成式 AI 统一在一个平台上，基于开源技术（Apache Spark、Delta Lake、MLflow）构建企业级管理层。
关键产品
| 产品 | 说明 |
|---|---|
| Data Intelligence Platform | 统一平台，覆盖数据工程、数据科学、ML 和分析 |
| Delta Lake | 开源存储层，为数据湖增加 ACID 事务、时间旅行、Schema 约束 |
| Apache Spark | 分布式计算引擎（Databricks 的技术基石） |
| MLflow | 开源 ML 生命周期管理（实验跟踪、模型注册表、部署） |
| Unity Catalog | 统一治理解决方案，跨云精细访问控制与血缘追踪 |
| Databricks SQL | 基于 Lakehouse 的数据仓库与 BI 工作负载 |
| Mosaic AI | 端到端 ML/AI 开发平台（含向量搜索、模型服务） |
| DBRX | Databricks 自研开源 LLM（2024 年3 月发布） |
| Model Serving | 实时模型推理与 RAG 基础设施 |
技术架构
- Lakehouse 架构：统一数据湖（灵活、低成本）与数据仓库（可靠、高性能）
- Photon 引擎：C++ 向量化查询引擎，SQL 性能提升 3-8 倍
- 多云：AWS、Azure、GCP 上一致体验，不锁定单一云厂商
- Serverless & Classic Compute：灵活的执行模式
- 开源基础：Delta Lake、MLflow、Apache Spark 均为开源，Databricks 提供企业管理层
- Unity Catalog：跨云统一元数据治理
主要应用领域
- ETL 与数据工程：大规模数据处理 pipeline
- 机器学习：模型训练、实验管理、MLOps
- 生成式 AI：DBRX 模型、向量搜索、RAG 应用构建
- 数据分析与 BI：SQL 查询、数据洞察
- 流式处理：实时数据处理与流计算
融资与商业
- 累计融资超过 40 亿美元，2021 年估值 430 亿美元
- 员工超过 7,000 人
- 预计 2024-2025 年 IPO
- 主要竞争对手：Snowflake、AWS EMR/Glue、Google BigQuery、Azure Synapse
重要合作伙伴
- Microsoft：战略合作；Azure Databricks 是 Azure 平台的原生服务
- AWS：AWS Marketplace 集成，与 S3、Glue、SageMaker 协同
- Google Cloud：GCP Marketplace 可用
- NVIDIA：GPU 加速 ML 和生成式 AI 工作负载
- 咨询合作：McKinsey、Accenture 等的 Lakehouse 实施合作
差异化优势与局限
| 优势 | 局限 |
|---|---|
| Lakehouse 架构的开创者与定义者 | 平台功能广泛，学习曲线较陡 |
| 强大的开源生态（Spark、Delta Lake、MLflow） | 自托管运维复杂度较高 |
| 深度 ML/AI 集成（生成式 AI、向量搜索） | 纯 SQL 分析体验略逊于 Snowflake |
| 多云不锁定 | 价格模式复杂，难以预估成本 |