https://blog.frognew.com/tags/vllm.htmlRecent content in Vllm on 青蛙小白Hugozh-CNSun, 26 Oct 2025 19:00:00 +0800https://blog.frognew.com/2025/10/deepseek-ocr-vllm-deploy.htmlSun, 26 Oct 2025 19:00:00 +0800https://blog.frognew.com/2025/10/deepseek-ocr-vllm-deploy.html<p>本文记录了使用 vLLM 部署 DeepSeek-OCR 的完整过程。</p> <h2 id="deepseek-ocr-简介">DeepSeek-OCR 简介</h2> <p><a href="https://github.com/deepseek-ai/DeepSeek-OCR" rel="noopener" target="_blank">DeepSeek-OCR</a> 是 DeepSeek 于 2025 年 10 月发布的开源 OCR 模型，主要特点包括：</p> <ul> <li><strong>多分辨率支持</strong>：从 512x512 (Tiny) 到 1280x1280 (Large) 多种分辨率模式</li> <li><strong>动态分辨率</strong>：支持 &ldquo;Gundam&rdquo; 模式，组合多个 640x640 patches 和 1024x1024 patch</li> <li><strong>Grounding 能力</strong>：可以定位和引用图像中的特定元素</li> <li><strong>文档转换</strong>：将文档转换为 Markdown 格式，保留布局结构</li> <li><strong>高性能</strong>：在 A100-40G GPU 上可达约 2500 tokens/秒</li> </ul> <p>模型已在 2025 年 10 月 23 日被 vLLM 官方支持，可以直接使用 vLLM 部署为 OpenAI 兼容的 API 服务。</p>