Appearance
AI 开发工具箱
提升 AI 开发效率的实用工具汇总。从 IDE 插件到调试工具，从可视化到 Prompt 管理，覆盖开发全流程。
相关概念：Hugging Face · Model Inference & Deployment · Embedding Models / Vector Representations · LLM Evaluation · AI Agents
IDE 与编辑器插件
AI 编码助手
| 工具 | 平台 | 特点 | 定价 |
|---|---|---|---|
| GitHub Copilot | VS Code、JetBrains、Vim | 行业标准，代码补全能力强 | $10/月 |
| Cursor | 独立 IDE / VS Code 分支 | Agent 能力、多文件编辑、自然语言编辑 | $20/月 |
| Continue | VS Code、JetBrains | 开源，支持多模型切换 | 免费 |
| Codeium | VS Code、JetBrains、Vim | 免费替代方案，速度快 | 免费/付费 |
| Supermaven | VS Code、JetBrains、Vim | 100K 上下文窗口 | $10/月 |
| Tabnine | 多平台 | 私有部署选项 | 免费/付费 |
模型开发专用
| 工具 | 用途 | 平台 |
|---|---|---|
| Hugging Face Extension | 模型/数据集浏览、推理测试 | VS Code |
| Jupyter | 交互式模型开发和实验 | 多平台 |
| Google Colab | 免费 GPU 云端开发 | 浏览器 |
| Kaggle Kernels | 数据科学竞赛和实验 | 浏览器 |
调试与分析工具
LLM 调试
| 工具 | 功能 | 特点 |
|---|---|---|
| LangSmith | 追踪、评估、监控 LLM 应用 | LangChain 官方，生产级 |
| Promptlayer | Prompt 版本管理和性能追踪 | 与代码解耦 |
| Weights & Biases | 实验跟踪、模型版本管理 | ML 开发标配 |
| Phoenix | LLM 可观察性 | 开源，支持多框架 |
| Langfuse | 开源 LLM 工程平台 | 自托管，数据居于欧洲 |
模型分析
| 工具 | 功能 | 特点 |
|---|---|---|
| Transformer Debugger | 可视化 Transformer 内部激活 | Anthropic 开源 |
| BertViz | 注意力可视化 | 理解 Attention 机制 |
| LIT (Language Interpretability Tool) | 模型可解释性 | Google 开源 |
| Ecco | 模型行为分析 | 生成过程可视化 |
可视化工具
模型架构与数据
| 工具 | 功能 | 链接 |
|---|---|---|
| Netron | 神经网络模型可视化 | netron.app |
| TensorBoard | 训练过程可视化 | TensorFlow 官方 |
| WandB Dashboard | 实验管理和可视化 | wandb.ai |
| Hugging Face Spaces | 模型演示和原型 | huggingface.co/spaces |
Prompt 与工作流可视化
| 工具 | 功能 | 特点 |
|---|---|---|
| LangFlow | 可视化工作流构建 | 拖拽式，基于 LangChain |
| Flowise | 可视化低代码 AI 工作流 | 开源，支持多框架 |
| Prompt Flow | Azure 集成的开发工具 | Microsoft 官方 |
| ComfyUI | 图像生成工作流 | Stable Diffusion 生态 |
Prompt 管理工具
| 工具 | 功能 | 定位 |
|---|---|---|
| Promptfoo | Prompt 测试和评估 | 开源，CI/CD 集成 |
| Pezzo | Prompt 版本管理和协作 | 开源平台 |
| Humanloop | Prompt 工程和评估 | 企业级 |
| DSPy | 编程式 Prompt 优化 | 学术/研究导向 |
数据处理与标注工具
| 工具 | 功能 | 场景 |
|---|---|---|
| Label Studio | 多模态数据标注 | 图像、文本、音频标注 |
| Argilla | 数据质量控制和人类反馈 | RLHF 数据集构建 |
| Snorkel | 弱监督标注 | 大规模标注加速 |
| Doccano | 文本标注 | 分类、序列标注、NER |
| Cleanlab | 自动检测数据问题 | 数据清洗 |
API 测试与开发
| 工具 | 功能 | 特点 |
|---|---|---|
| OpenAI Playground | 测试 GPT 模型 | 官方，参数调试 |
| Hugging Face Inference API | 免费模型推理 | 快速测试 |
| Postman | API 调试 | 通用 HTTP 工具 |
| HTTPie | 命令行 API 测试 | 简洁易用 |
开发工具选型指南
按阶段选择
原型阶段
- IDE: Cursor / VS Code + Copilot
- 实验: Jupyter / Google Colab
- 模型测试: Hugging Face Inference API
开发阶段
- 框架: LangChain / LlamaIndex
- 调试: LangSmith / Langfuse
- 版本控制: Weights & Biases
生产阶段
- 监控: LangSmith / Phoenix
- 评估: Promptfoo / 自建评估流水线
- 部署: vLLM / TGI
开源 vs 商业
| 需求 | 开源方案 | 商业方案 |
|---|---|---|
| 代码补全 | Continue + Codeium | GitHub Copilot |
| 工作流调试 | Langfuse + Phoenix | LangSmith |
| 数据标注 | Argilla + Label Studio | Scale AI |
| 实验跟踪 | TensorBoard | Weights & Biases |
最后更新：2025-04-28 | 工具生态发展迅速，建议持续关注社区动态。