Together AI

Together AI 是一家专注于开源大语言模型推理和训练的 AI 基础设施公司，由 Vipul Ved Prakash、Ce Zhang 和 Chris Ré 于 2022 年在旧金山创立。Together AI 提供高性能的模型推理 API、微调服务和自研模型，是开源 AI 生态的重要基础设施提供商。

Overview

Together AI 的核心理念是推动开源 AI 的可访问性和性能。公司自研了 Together Inference Engine，通过优化的内核和编译技术提升开源模型的推理速度，同时提供低成本的模型训练和微调服务。累计融资超过 $2 亿，主要投资者包括 Kleiner Perkins、NVIDIA、Salesforce Ventures，2024 年估值约 $12 亿。

核心产品

模型推理 API

Together AI 支持广泛的开源模型：

模型类别	代表模型
开源 LLM	Llama 3、Mistral、Qwen、DeepSeek
图像模型	Stable Diffusion、FLUX
嵌入模型	BGE、E5
自研模型	StripedHyena、Mamba

微调服务 (Fine-tuning)

• 全参数微调：支持各种开源模型的完整微调
• LoRA/QLoRA：高效参数微调，降低计算成本
• 数据集管理：内置数据预处理和验证工具

自研模型

• StripedHyena：混合架构（注意力 + 次线性），支持超长上下文
• Mamba 系列：状态空间模型的高性能实现

技术亮点

Together Inference Engine

Together AI 的自研推理引擎是其核心竞争力：

• 比标准 vLLM 更高效的内核优化
• 针对特定硬件的模型编译优化
• 支持多节点分布式训练

定价优势

服务	定价策略	相对优势
推理 API	按 token 计费	比主流闭源商家便宜 2-3 倍
微调	按训练时间计费	成本显著低于自建集群
专属实例	按小时计费	灵活弹性

生态定位

开源 AI 基础设施

Together AI 在开源生态中的角色：

• 模型中立：不绑定特定模型，支持社区主流开源模型
• 性能优化：通过编译和内核优化提升开源模型性能
• 避免厂商锁定：客户可随时迁移模型

与闭源模型的竞争

Together AI 的定位是证明开源模型 + 优化基础设施可以达到闭源模型的质量，同时成本更低：

• Llama 3 70B 在 Together 上的性能接近 GPT-3.5
• 成本仅为 GPT-4 的 1/5 - 1/10

研究驱动

团队来自顶级学术机构：

• Chris Ré：斯坦福大学教授，AI 系统专家
• Ce Zhang：苏黎世联邦理工学院教授
• 与学术界的紧密合作推动技术创新

应用场景

1. 开源模型部署：快速将开源模型投入生产环境
2. 模型微调：基于私有数据定制开源模型
3. AI 应用开发：为开发者提供低成本、高性能的模型 API
4. 研究实验：快速验证新模型和新架构

竞品对比

维度	Together AI	Replicate	Groq	AWS Bedrock
模型类型	开源为主	开源为主	开源为主	开源+闭源
核心优势	推理优化+训练	模型托管	超低延迟	生态集成
定价	低	低	中	中
自研模型	有	无	无	无
训练服务	有	无	无	有

Synthesis

Together AI 是开源 AI 商业化的关键推动者。它证明了开源模型在优化基础设施的支持下，可以在性能和成本上与闭源模型竞争。随着 Llama、Qwen、DeepSeek 等开源模型质量的持续提升，Together AI 这类"开源模型云"的价值将越来越重要。

Related Pages

• Replicate — 开源模型托管平台
• Groq — 推理专用芯片
• vLLM — 开源推理引擎
• Llama — 主要支持的开源模型
• Mamba / State Space Models — 支持的状态空间模型架构
• Model Inference & Deployment — 模型推理与部署
• 开源模型生态趋势 — 开源模型生态趋势

Sources

• raw/articles/together-ai-company-overview-2026-07-01.md
• Together AI 官方博客
• Together AI API 文档
• 公开融资信息