概念

AI / LLM 领域的核心技术概念，从底层架构到上层应用系统化组织。

模型架构

大模型的基础结构设计——模型"长什么样"。

• Transformer Architecture — 现代大模型的基础架构范式。
• Mixture of Experts — 用稀疏专家激活提升模型容量与效率的架构思路。
• Multimodal Models — 跨文本、图像、音频、视频的多模态 AI 架构与能力。
• Diffusion Models — 去噪扩散概率模型，现代图像/视频/音频生成（Stable Diffusion、Sora）的基础。

训练方法论

模型如何学习和优化——从数据到参数。

• Fine-tuning — 在预训练模型基础上用特定数据继续训练以实现定向适配。
• RLHF — 基于人类偏好对齐模型的训练方法论。
• DPO & Preference Alignment — 无需奖励模型的直接偏好优化对齐方法。
• Synthetic Data — 由 AI 生成的训练数据，自我对弈、拒绝采样与数据增强范式。
• Knowledge Distillation — 知识蒸馏——将大型教师模型的能力迁移至小型学生模型的技术。
• Scaling Laws — 模型性能随参数、数据和计算量可预测增长的幂律理论。

推理与生成

模型如何产出结果——从 Token 到部署。

• Chain-of-Thought & Reasoning — 思维链提示与推理模型——让 LLM 进行逐步推理的核心技术。
• Temperature & Sampling Strategies — Temperature 与采样策略，控制 LLM 生成行为的随机性、多样性与准确性。
• Tokenization — 将文本分割成 Token 的基础方法（BPE、SentencePiece 等）。
• Model Quantization — 降低模型精度以减小体积、加速推理的核心技术。
• Model Inference & Deployment — 模型推理优化技术与生产级部署框架。

应用与系统工程

模型在实际系统中的落地、治理与生态。

• AI Agents — 结合推理、工具调用和任务执行的 AI 系统形态。
• Harness Engineering — OpenAI 提出的 AI Agent 驱动软件开发方法论（Codex）。
• Retrieval Augmented Generation — 将外部知识检索与生成结合的常见落地方法。
• Model Context Protocol (MCP) — AI 应用与外部系统的标准化连接协议（MCP）。
• Vector Databases — 向量数据库，RAG 系统的核心存储层与高效检索基础设施。
• Embedding Models / Vector Representations — 文本嵌入与向量表示技术，语义搜索和 RAG 的基础组件。
• LLM Evaluation — LLM 评测体系与 EleutherAI LM Evaluation Harness 评估框架。
• AI Hallucination — LLM 产生虚假信息的现象、成因、检测与缓解策略。
• AI Safety & Alignment — AI 安全研究、价值对齐、Constitutional AI、红队测试与治理框架。