
📅 2024-06-04
Xorbits Inference (Xinference) 是一个开源平台,用于简化各种AI模型的运行和集成。借助Xinference,可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的AI应用。
准备工作
#
- Xinference 使用GPU加速推理,该镜像需要在有 GPU 显卡并且安装 CUDA 的机器上运行。
- 保证CUDA在机器上正确安装。可以使用
nvidia-smi
检查是否正确运行。 - 镜像中的CUDA版本为
12.4
。为了不出现预期之外的问题,请将宿主机的CUDA版本和NVIDIA Driver版本分别升级到12.4
和550
以上。 - 服务器已经安装docker(>=20.10.5)
- 服务器已经安装NVIDIA Container Toolkit, 并配置docker的运行时为
nvidia-container-runtime
拉取镜像
#
1docker pull xprobe/xinference:v<your_version>
启动容器
#
使用如下方式在容器内启动 Xinference,同时将9997端口映射到宿主机的9998端口:
...📅 2024-06-03
see also “使用modelscope下载模型”
Hugging Face 作为目前自然语言处理领域最热门的平台之一,提供了海量预训练模型。本文将介绍如何使用 huggingface-cli 下载各种模型,并通过实例演示其使用方法。
安装huggingface-cli
#
安装环境信息如下:
...📅 2023-12-28
Rook是一个开源的云原生存储编排器,为Ceph存储提供平台、框架和支持,使其能够与云原生环境进行本地集成。Ceph是一个分布式存储系统,提供文件(file)、块(block)和对象存储(object storage),并在大规模生产集群中部署。
...📅 2023-12-27
kubeadm是Kubernetes官方提供的用于快速安部署Kubernetes集群的工具。伴随Kubernetes每个版本的发布,kubeadm可能会对集群配置方面的一些实践做调整,通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。
...📅 2023-11-13
PostgreSQL是一个开源的对象-关系数据库系统(ORDBMS),在灵活的BSD许可证下发行。
PostgreSQL事实上不被任何一家公司所掌控,PostgreSQL全球开发小组,是一个松散的组织,BSD许可协议是自由软件中使用最广泛的许可协议之一。
PostgreSQL在可靠性、稳定性上已经十分强大,并且被应用的十分广泛。
...📅 2023-09-02
Rook是一个开源的云原生存储编排器,为Ceph存储提供平台、框架和支持,使其能够与云原生环境进行本地集成。Ceph是一个分布式存储系统,提供文件(file)、块(block)和对象存储(object storage),并在大规模生产集群中部署。
...📅 2023-08-22
1.创建备份专用用户
#
Percona XtraBackup需要能够连接到数据库服务器,并在创建备份时、在某些场景下准备备份以及在还原备份时执行操作。为了实现这一点,对其执行所需的Privilege和权限Permissions要求必须得到满足。
- Privilege:指的是系统用户在数据库服务器中被允许执行的操作。它们在数据库服务器上设置,仅适用于数据库服务器中的用户。
- Permissions: 允许用户在系统上执行操作,比如在某个目录上读取、写入或执行,或者启动/停止系统服务。它们在系统级别上设置,仅适用于系统用户。
当使用xtrabackup时,涉及到两个用户:
...📅 2023-08-22
操作模式
#
可以在以下模式之一中调用xtrabackup:
--backup
模式,用于在目标目录中进行备份--prepare
模式,用于从备份中恢复数据(在--backup
模式下创建)--copy-back
模式,用于从备份中复制数据到原始数据所在的位置;若要移动数据而不是复制,请使用替代的--move-back
模式。--stats
模式,用于扫描指定的数据文件并打印出索引统计信息。
当你打算在这些模式中运行xtrabackup时,请使用以下语法:
...📅 2023-08-22
1. Percona XtraBackup工具集的组成
#
Percona XtraBackup是由以下几个二进制文件组成的:
- xtrabackup:一个已编译的C语言二进制文件,提供了备份包括MyISAM、InnoDB和XtraDB表在内的整个MySQL数据库实例的功能。
- xbcrypt:用于加密和解密备份文件的实用工具。
- xbstream:一个实用工具,允许在xbstream格式与文件之间进行流式传输和提取。
- xbcloud:用于从云端下载和上传xbstream存档的部分或全部内容的实用工具。
推荐的备份方式是使用xtrabackup。
...📅 2023-08-22
1.备份特性(backup features)
#
1.1 LRU dump backup
#
Percona XtraBackup在备份中包含了一个已保存的缓冲池转储,以便减少预热时间。在重新启动后,它可以从ib_buffer_pool
文件中还原缓冲池状态。Percona XtraBackup会自动检测并备份ib_buffer_pool
。
...