使用docker部署Xinference
Xorbits Inference (Xinference) 是一个开源平台,用于简化各种AI模型的运行和集成。借助Xinference,可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的AI应用。 准备工作 Xinference 使用GPU加速推理,该镜像需要在有 GPU 显卡并且安装 CUDA 的机器上运行。 保证CUDA在机器上正确安装。可以使用nvidia-smi检查是否正确运行。 镜像中的CUDA版本为12.4。为了不出现预期之外的问题,请将宿主机的CUDA版本和NVIDIA Driver版本分别升级到12.4和550以上。 服务器已经安装docker(>=20.10.5) 服务器已经安装NVIDIA Container Toolkit, 并配置docker的运行时为nvidia-container-runtime 拉取镜像 docker pull xprobe/xinference:v<your_version> 启动容器 使用如下方式在容器内启动 Xinference,同时将9997端口映射到宿主机的9998端口: