青蛙小白
#Aigc

使用docker部署Xinference

Xorbits Inference (Xinference) 是一个开源平台,用于简化各种AI模型的运行和集成。借助Xinference,可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的AI应用。 准备工作 Xinference 使用GPU加速推理,该镜像需要在有 GPU 显卡并且安装 CUDA 的机器上运行。 保证CUDA在机器上正确安装。可以使用nvidia-smi检查是否正确运行。 镜像中的CUDA版本为12.4。为了不出现预期之外的问题,请将宿主机的CUDA版本和NVIDIA Driver版本分别升级到12.4和550以上。 服务器已经安装docker(>=20.10.5) 服务器已经安装NVIDIA Container Toolkit, 并配置docker的运行时为nvidia-container-runtime 拉取镜像 docker pull xprobe/xinference:v<your_version> 启动容器 使用如下方式在容器内启动 Xinference,同时将9997端口映射到宿主机的9998端口:

#Aigc

使用huggingface-cli下载模型

see also “使用modelscope下载模型” Hugging Face 作为目前自然语言处理领域最热门的平台之一,提供了海量预训练模型。本文将介绍如何使用 huggingface-cli 下载各种模型,并通过实例演示其使用方法。 安装huggingface-cli 安装环境信息如下: 操作系统: Ubuntu 24.04 安装用户: 系统普通用户(非root, 非特权用户) Python版本: 3.11 (注Ubuntu 24.04内置安装了Python 3.12, Python 3.11需额外安装) 安装过程如下:

#Postgresql

PostgreSQL 16.x 整实例恢复与 repmgr 主从重建

最近帮一个朋友处理了一次生产环境的 PostgreSQL 恢复,要把数据库状态回退到某天凌晨的备份点。环境是两节点 PostgreSQL 集群,主从由 repmgr 管理。 主库恢复不算难,麻烦的是后半段:恢复后怎么把从库重新拉回正确状态。按处理顺序记一下过程和踩到的坑。 确认备份方式 动手之前先看备份是怎么做的。机器上的定时任务:

使用Percona XtraBackup 8.0备份和恢复MySQL 8.0数据库

1.创建备份专用用户 Percona XtraBackup需要能够连接到数据库服务器,并在创建备份时、在某些场景下准备备份以及在还原备份时执行操作。为了实现这一点,对其执行所需的Privilege和权限Permissions要求必须得到满足。 Privilege:指的是系统用户在数据库服务器中被允许执行的操作。它们在数据库服务器上设置,仅适用于数据库服务器中的用户。 Permissions: 允许用户在系统上执行操作,比如在某个目录上读取、写入或执行,或者启动/停止系统服务。它们在系统级别上设置,仅适用于系统用户。 当使用xtrabackup时,涉及到两个用户: