Ollama
严格来说，Ollama ≠ 推理框架（Inference Framework），它是一套面向本地的大模型运行与管理平台（LLM Runtime Platform）， 其中封装了 一个核心推理引擎（llama.cpp），并在其之上提供模型管理、API 服务、会话调度、跨平台适配等完整运行时能力。
Ollama不是像 vLLM、SGLang、TGI 那种“底层推理框架”。这些框架负责 GPU kernel、KV cache、算子优化、批处理调度等底层推理性能。
Ollama更像“统一接口 + 模型封装 + 本地运行环境”，它封装了：
- llama.cpp（底层推理引擎）
- GGUF 模型格式管理
- REST/OpenAI API 服务
- 本地模型缓存与生命周期管理
- 简单的推理调度与上下文管理
- macOS/Metal、CUDA、CPU 的平台封装
- 模型构建 DSL（Modelfile）
Ollama 在设计理念上深受 Docker 的启发。
它通过“模型镜像（Model Image）”的方式来管理和分发本地大模型，使其具备类似 Docker 的使用体验：
- 使用 Modelfile 定义模型构建方式（类似 Dockerfile）
- 使用
ollama create构建模型（类似docker build） - 使用
ollama pull拉取模型（类似docker pull） - 使用
ollama run运行模型（类似docker run） - 模型具备本地缓存、版本管理、依赖隔离等特性
这种“容器化模型”的方式，让大模型的获取、封装、复用和部署变得像 Docker 一样简单和一致，降低了本地 LLM 的使用门槛。
Ollama = 大模型的本地化 Docker
为模型提供构建、分发、运行、管理的一体化体验。