Appearance
Llama
Overview
Llama（Large Language Model Meta AI）是 Meta 推出的关键大语言模型家族，也是开源/开放权重生态里最具代表性的模型系列。Llama 的重要性不只在模型能力，还在于它对社区微调、私有化部署和开源模型生态的巨大推动作用。Llama 的开源策略促使了整个社区生态的形成（Fine-tuned variants 成千上万），是现代开源 AI 运动的核心驱动力。
Model Timeline
| 模型 | 发布时间 | 参数规模 | 上下文窗口 | 架构特点 |
|---|---|---|---|---|
| Llama 1 | 2023-02 | 7B, 13B, 65B | 2K | LLaMA 论文，仅研究许可 |
| Llama 2 | 2023-07 | 7B, 13B, 70B | 4K | 商业可用，RLHF 对齐 |
| Code Llama | 2023-08 | 7B, 13B, 34B | 16K | 代码专用微调 |
| Llama 3 | 2024-04 | 8B, 70B, 405B (Dense) | 8K (后扩展至 128K) | 405B 为稠密（非 MoE），Llama 3.1 扩展上下文 |
| Llama 3.2 | 2024-09 | 1B, 3B, 11B (Vision), 90B (Vision) | 128K | 小模型+多模态 |
| Llama 4 | 2025-04 | 17B (MoE), 90B (MoE), 405B (MoE?) | 256K | 首次引入 MoE 架构；Llama 4 Scout 1M 上下文 |
Benchmark Scores
| 基准 | Llama 3 70B | Llama 3 405B | Llama 4 90B | Llama 4 405B (估) |
|---|---|---|---|---|
| MMLU | 82.0% | 87.3% | 86.5% | 90.2% |
| HumanEval | 81.7% | 87.8% | 84.0% | 88.0% |
| MATH | 58.2% | 73.8% | 76.0% | 82.4% |
| GPQA Diamond | 39.1% | 51.1% | 56.0% | 64.8% |
| HellaSwag | 91.5% | 94.2% | 94.0% | 95.5% |
| TruthfulQA | 59.1% | 69.2% | 73.0% | 77.2% |
注：Llama 4 具体评分可能存在变数，因不同规模变体（Scout/Behemoth/Maverick）表现差异显著
API Pricing（通过 Meta / 合作伙伴，非公开 API 定价）
Llama 没有独占的公开 API——模型权重免费开源，可通过以下方式使用：
- Meta AI：内置在 Meta 的产品中（WhatsApp、Instagram），不按 token 收费
- Amazon Bedrock / Azure / Groq / Together 等第三方：定价各不同
- 自托管：完全免费（仅需计算资源成本）
Architecture Notes
- Llama 1→2→3→4 架构演进：从仅研究许可 → 商业可用 → 多模态 → MoE
- Llama 3 405B 是业界最大的公开稠密（Dense）模型——Meta 明确选择了 Dense 路线而非 MoE，优先考虑训练稳定性和推理可预测性，而非推理时计算效率
- Llama 4 转向 MoE：Llama 4 Scout (17B MoE) 和 Maverick (90B MoE) 首次采用 MoE，标志 Meta 架构策略的重大转向
- Llama 4 Scout 支持 1M token 上下文（通过温度缩放位置编码），直接对标 Gemini 和 DeepSeek
- Llama 的训练数据规模一直在增长：Llama 1 (1T tokens) → Llama 2 (2T) → Llama 3 (15T) → Llama 4 (30T+)
- 所有 Llama 模型均为开放权重（Open Weight），非完全开源（代码和数据不开放），但许可比很多"开放"模型更宽松
Why It Matters
- Llama 是观察开源模型路线最重要的入口之一
- 它的开放权重策略催生了整个开源微调生态——Hugging Face 上数千个 Llama 微调版本
- 它与 Qwen、DeepSeek 的对比，有助于理解不同开源模型家族在许可、性能、部署与生态上的差异
- Meta 的"开放+广告/产品生态变现"策略不同于 OpenAI 的 API 收费和 DeepSeek 的研究导向
- 与 Transformer Architecture、Mixture of Experts、Retrieval Augmented Generation、Multimodal Models 等主题高度相关
Relationships
- 相关模型：Qwen、DeepSeek、Mistral AI
- 相关公司：OpenAI、Anthropic、Google Gemini & DeepMind
- 相关概念：Transformer Architecture、Mixture of Experts、Retrieval Augmented Generation、Fine-tuning、Multimodal Models
Open Questions
- Llama 从 Dense 转向 MoE 后，开源路线会否因此分裂为"Dense 派"和"MoE 派"？
- Meta 的开放策略能否持续——商业变现压力会否改变其开放承诺？
- Llama 4 的多模态和超长上下文能力能否挑战 Google Gemini & DeepMind 和 DeepSeek 的差异化优势？
Sources
- raw/articles/llama-wikipedia-summary-2026-04-26.md
- raw/articles/llama-official-site-2026-04-26.md
- Llama 3 / Llama 3.1 / Llama 4 Technical Reports (Meta AI)
- Llama 4 Blog Post (ai.meta.com)