Appearance
Groq
Groq 是一家专注于 AI 推理加速的芯片与云服务公司，其核心产品 LPU（Language Processing Unit） 采用独特的 Tensor Streaming Processor 架构，在 LLM 推理延迟方面处于行业领先地位。由前 Google TPU 核心设计者 Jonathan Ross 于 2016 年创立，总部位于加州 Mountain View。
Overview
Groq 的核心理念是：推理延迟是 AI 应用体验的决定性因素。与 NVIDIA GPU 兼顾训练和推理不同，Groq 从架构设计之初就专注推理场景，通过确定性执行和大规模片上 SRAM 实现极致的低延迟。
累计融资超过 $10 亿，主要投资者包括 Tiger Global、D1 Capital Partners、TDK Ventures 等，2024 年估值约 $40 亿。
核心产品
GroqChip / LPU
Groq 自研的 Language Processing Unit 采用 Tensor Streaming Processor (TSP) 架构：
- 确定性执行：编译时确定所有指令时序，无运行时调度开销，消除延迟抖动 (jitter)
- 大规模片上 SRAM：每个芯片拥有数百 MB 片上内存，减少对外部 HBM 的依赖
- 单核性能：每个 TSP 核心具有极高的单线程吞吐量
- 横向扩展：多芯片通过专有互联实现线性扩展
GroqCloud
2024 年上线的公有云 API 服务，引发行业对推理速度的广泛关注：
- 支持 Llama、Mixtral、Gemma 等主流开源模型
- 开发者可通过标准 API 调用，无需管理硬件
- 按 token 计费，价格具有竞争力
企业部署
- 私有云与本地部署方案
- 适合对数据隐私和延迟有严格要求的场景
性能数据
Groq 在推理速度方面处于行业领先地位：
| 模型 | 吞吐量 | 延迟特点 |
|---|---|---|
| Llama 3 8B | 1000+ tokens/秒 | 近乎瞬时的首 token 延迟 |
| Llama 2 70B | 300+ tokens/秒 | 流畅的实时对话体验 |
| Mixtral 8x7B | 500+ tokens/秒 | 支持大规模 MoE 模型 |
注：实际性能取决于模型大小、批次大小和具体工作负载
技术架构特点
与 GPU 的根本差异
| 维度 | Groq LPU | NVIDIA GPU |
|---|---|---|
| 设计目标 | 推理专用 | 训练+推理通用 |
| 执行模式 | 确定性，编译时调度 | 动态调度，运行时优化 |
| 内存架构 | 大规模片上 SRAM | HBM + 缓存层次 |
| 延迟特性 | 极低且稳定 (无 jitter) | 较低但有波动 |
| 编程模型 | 编译器驱动 | CUDA 手动优化 |
| 扩展方式 | 芯片间确定性互联 | NVLink / InfiniBand |
为什么确定性执行重要？
传统 GPU 的动态调度虽然提高了硬件利用率，但引入了不可预测的延迟波动。对于对话式 AI 和实时 Agent 应用，稳定的低延迟比峰值高吞吐更重要——用户能感知到每一次卡顿。
生态定位
推理基础设施三极
Groq 与 Cerebras、SambaNova 共同构成非 GPU 推理基础设施的重要力量：
| 公司 | 架构 | 专注 | 优势场景 |
|---|---|---|---|
| Groq | TSP / LPU | 推理 | 超低延迟实时交互 |
| Cerebras | WSE 晶圆级 | 训练+推理 | 超大规模模型 |
| SambaNova | RDU 数据流 | 训练+推理 | 企业私有化部署 |
开源模型友好策略
Groq 的一大优势是快速支持最新开源模型：
- 新模型发布后数天内即可在 GroqCloud 上线
- 与开源社区保持紧密合作
- 降低了开发者尝试新模型的门槛
应用场景
- 实时对话系统：客服机器人、个人助手，要求即时响应
- AI Agent：多步推理 Agent，每步都需要快速反馈
- 流式内容生成：直播字幕、实时翻译、交互式创作
- 边缘推理：低延迟要求的本地化部署
局限性与挑战
- 训练不支持：Groq 仅支持推理，训练仍需 GPU
- 模型生态：支持的模型数量少于 GPU 平台
- 规模限制：超大规模模型 (如 1T+ 参数) 的部署仍具挑战
- 成本结构：虽然单 token 成本低，但硬件投入大
Synthesis
Groq 代表了 AI 基础设施的专业化趋势——从通用 GPU 向专用推理芯片演进。其确定性执行架构为实时 AI 应用设定了新的延迟标准，迫使 NVIDIA 和云厂商在推理优化上加大投入。虽然训练市场仍由 GPU 主导，但推理市场的专业化分工正在加速。
Related Pages
- Cerebras — 晶圆级处理器对比
- SambaNova — 数据流架构 AI 芯片
- NVIDIA — GPU 计算平台
- vLLM — 开源高吞吐推理引擎
- Model Inference & Deployment — 模型推理与部署
- AI 基础设施与算力市场趋势 — AI 基础设施与算力市场趋势
Sources
- raw/articles/groq-company-overview-2026-07-01.md
- Groq 官方博客 (blog.groq.com)
- GroqCloud API 文档
- 公开融资信息 (Crunchbase)