概念

AI / LLM 领域的核心技术概念，从底层架构到上层应用系统化组织。

模型架构与生成

大模型的基础结构与内容生成技术。

• Large Language Model (LLM) — 大语言模型的核心定义、技术原理、发展历程与关键能力。
• Transformer Architecture — 现代大模型的基础架构范式。
• Attention Mechanism — Transformer 的核心计算单元，现代大语言模型能力的基础。
• Position Encoding — 为 Transformer 模型提供序列位置信息的技术，从正弦位置编码到 RoPE 的演进。
• RoPE (Rotary Position Embedding) — RoPE，通过旋转矩阵将位置信息编码到注意力计算中的相对位置表示方法，当前主流标准。
• Mixture of Experts — 用稀疏专家激活提升模型容量与效率的架构思路。
• Multimodal Models — 跨文本、图像、音频、视频的多模态 AI 架构与能力。
• Diffusion Models — 去噪扩散概率模型，现代图像/视频/音频生成的基础。
• Mamba / State Space Models — Mamba / 状态空间模型，以线性复杂度和选择性注意力挑战 Transformer 的新架构。
• Mixture of Depths (MoD) — 深度维度的动态计算分配，与 MoE 正交的 Transformer 稀疏化新方向。
• World Models — 能够学习并模拟环境动态规律的生成式 AI 模型。
• 自回归、扩散模型与 Flow Matching — 生成式 AI 三大范式对比：自回归、扩散模型与 Flow Matching。
• NeRF / 3D Gaussian Splatting — 从隐式神经表示到显式高斯点云的 3D 场景重建与新视角合成。
• Prefix LM vs Causal LM — Transformer 两大核心注意力架构范式对比。
• Text-to-Video / Video Generation — 从文本或图像生成连续视频内容的技术。
• Test-Time Compute / Inference-Time Scaling — 在推理阶段投入更多计算资源以提升输出质量。
• LoRA / PEFT — 低筋适配和参数高效微调方法。
• GRPO / RLVR — 推理模型训练的新范式，DeepSeek-R1 成功的关键技术之一。

训练与对齐

模型如何学习和优化——从数据到参数。

• Fine-tuning — 在预训练模型基础上用特定数据继续训练以实现定向适配。
• RLHF — 基于人类偏好对齐模型的训练方法论。
• DPO & Preference Alignment — 无需奖励模型的直接偏好优化对齐方法。
• Constitutional AI / RLAIF — 利用 AI 自身判断来对齐模型行为的方法论。
• Synthetic Data — 由 AI 生成的训练数据，自我对弈、拒绝采样与数据增强范式。
• Knowledge Distillation — 知识蒸馏——将大型教师模型的能力迁移至小型学生模型的技术。
• Model Merging — 将多个训练好的模型或适配器合并为一个新模型的技术。
• Scaling Laws — Scaling Laws：模型性能随参数、数据和计算量可预测增长的幂律理论。
• Emergent Abilities / Grokking — 涌现能力 / Grokking：大模型涌现能力与训练顿悟现象。
• Catastrophic Forgetting — 灾难性遗忘：神经网络在学习新任务时对旧任务性能急剧下降的现象，以及持续学习的解决方案。
• Data Flywheel — 数据飞轮：AI 产品通过用户使用产生数据、数据驱动模型改进的正反馈循环。
• 分布式训练 — 分布式训练：数据并行、张量并行、流水线并行与 3D 并行的原理与实践。
• FSDP / DeepSpeed ZeRO — FSDP / DeepSpeed ZeRO：通过全分片数据并行突破 GPU 内存瓶颈，支撑万亿参数模型训练。

推理与生成

模型如何产出结果——从 Token 到部署。

• Chain-of-Thought & Reasoning — 思维链提示与推理模型——让 LLM 进行逐步推理的核心技术。
• In-Context Learning — 大语言模型通过上下文示例学习新任务的能力，无需参数更新。
• Temperature & Sampling Strategies — Temperature 与采样策略，控制 LLM 生成行为的随机性、多样性与准确性。
• Tokenization — 将文本分割成 Token 的基础方法（BPE、SentencePiece 等）。
• Model Quantization — 降低模型精度以减小体积、加速推理的核心技术。
• KV Cache & Prompt Caching — Transformer 推理性能优化的核心技术，显著影响延迟和成本。
• Speculative Decoding — 用小模型预测、大模型验证的推理加速技术，无损失 2-3x 速度提升。
• FlashAttention — 通过 IO-Aware 的精确注意力计算显著加速 Transformer 训练与推理的算法突破。
• Model Inference & Deployment — 模型推理优化技术与生产级部署框架。
• Context Window — 大语言模型能处理的输入长度限制与长上下文技术进展。
• 长上下文技术 — 从 2K 到 1M+ token 的技术演进：Ring Attention、YaRN、NTK-aware scaling 与位置编码扩展方法。

应用与系统工程

模型在实际系统中的落地与生态。

• AI Agents — 结合推理、工具调用和任务执行的 AI 系统形态。
• Tool Use / Toolformer — 大语言模型通过 API 调用外部工具的技术范式。
• Harness Engineering — OpenAI 提出的 AI Agent 驱动软件开发方法论。
  • Harness Engineering — Implementation Patterns — 从精英团队到一人军团的实践模式。
  • Harness Engineering — The Evaluation Problem — 评估问题：如何可靠验证智能体生成的代码。
  • Harness Engineering — Advanced Topics — 高级话题：Meta-Harness、产品级验证与控制论框架的缺陷。
• Prompt Engineering — 提示工程：通过精心构造提示来引导 LLM 输出质量的核心技能。
• System Prompt 工程 — 系统提示工程：设计安全、有效的 LLM 系统提示，防御提示注入与目标劫持攻击。
• Function Calling / Tool Use — 函数调用 / 工具使用：LLM 与外部世界交互的标准化接口，Agent 架构的核心支柱。
• Structured Output / JSON Mode — 强制 LLM 输出符合预定义 schema 的技术，生产级应用的基础。
• Retrieval Augmented Generation — 将外部知识检索与生成结合的常见落地方法。
• LLM Wiki — 基于 LLM 的持久化知识库模式。
• Semantic Search — 基于向量表示的语义搜索技术，RAG 系统的核心召回层。
• Model Context Protocol (MCP) — AI 应用与外部系统的标准化连接协议（MCP）。
• Vector Databases — 向量数据库，RAG 系统的核心存储层与高效检索基础设施。
• Embedding Models / Vector Representations — 文本嵌入与向量表示技术，语义搜索和 RAG 的基础组件。
• Code Generation / SWE-bench — AI 辅助软件工程的能力评估与技术进展。
• FlashAttention — FlashAttention：通过 IO-Aware 的精确注意力计算显著加速 Transformer 训练与推理的算法突破。
• Sparse Attention — 稀疏注意力：通过限制注意力连接将复杂度从 $O(n^2)$ 降低到 $O(n)$ 或 $O(n \log n)$，支持更长序列。
• Outlines — Outlines：用于 LLM 结构化输出的开源 Python 框架。
• DSPy — DSPy：Stanford NLP 团队开发的声明式 LLM 编程框架。
• GraphRAG — 基于知识图谱的检索增强生成技术，通过知识图谱构建、社区发现和分层摘要实现全局推理能力。
• Mechanistic Interpretability — 机制可解释性，通过电路追踪、激活修补和稀疏自编码器等方法逆向工程理解 Transformer 内部计算机制的前沿研究领域。
• Agent Skills 总览 — Agent Skills 概念、价值定位与核心设计哲学。
• Agent Skills 格式规范 — SKILL.md 完整格式规范、Frontmatter 字段与目录结构标准。
• Agent Skills 生态与平台 — 主流平台实现差异、官方 Skill 仓库与社区生态。
• Agent Skills 最佳实践 — 从真实 expertise 提取 Skill、上下文优化与验证迭代方法。

安全与评估

模型的可靠性、安全性与治理。

• LLM Evaluation — LLM 评测体系与 EleutherAI LM Evaluation Harness 评估框架。
• Red Teaming — 系统性挑战 AI 系统以发现潜在弱点的方法论。
• Watermarking / AI Detection — AI 生成内容的水印与检测技术。
• AI Safety & Alignment — AI 安全研究、价值对齐、Constitutional AI 与治理框架。
• AI Hallucination — LLM 产生虚假信息的现象、成因、检测与缓解策略。
• Jailbreak 与 Prompt Injection — LLM 安全攻防核心概念：角色仿观、目标劫持、直接/间接注入与防御机制。
• OOD / Distribution Shift — OOD / Distribution Shift：模型面对训练分布外数据时的泛化挑战、检测方法与持续学习策略。