Ollama

Ollama 是本地运行大语言模型（LLM）的最简工具，以一行命令即可下载、配置和运行开源模型。它极大地降低了本地 AI 部署的门槛，成为开发者和 AI 爱好者探索开源模型的首选入口。

核心特性

极简使用

# 安装
 curl -fsSL https://ollama.com/install.sh | sh

# 运行模型
ollama run llama3

# 启动 OpenClaw（AI Agent 工具）
ollama launch openclaw

模型支持

• 主流开源模型：Llama、Qwen、DeepSeek、Mistral、Gemma 等
• Modelfile：自定义模型配置（系统提示、参数、适配器）
• 量化模型：自动处理 GGUF 等量化格式

部署模式

• 本地运行：个人电脑、工作站
• 云端扩展：Ollama Cloud 提供数据中心级硬件
• API 服务：提供 OpenAI 兼容的 REST API
• 多平台：macOS、Linux、Windows 支持

生态集成

• OpenClaw：AI Agent 自动化工具
• Claude Code：通过 Ollama 使用本地模型
• IDE 集成：VS Code、Cursor 等通过 API 接入
• Web UI：Open WebUI、ChatGPT-Next-Web 等前端

技术架构

• 基于 llama.cpp：底层推理引擎
• 模型管理：自动下载、缓存、版本管理
• 多模态：部分模型支持图像输入

生态定位

• 本地 AI 入口：开源模型本地运行的最简路径
• 开发者工具：快速原型、隐私敏感场景、离线环境
• 与云端互补：Ollama Cloud 扩展至大模型需求

相关页面

• llama.cpp — 底层推理引擎

• vLLM — 高吞吐服务端推理

• Quantization — 模型量化技术

• Edge vs Cloud Inference — 部署模式对比

• Model Inference & Deployment — 模型推理与部署