Ceph块存储之RBD · 青蛙小白

RBD简介

Ceph可以同时提供对象存储RADOSGW、块存储RBD、文件系统存储Ceph FS。 RBD即RADOS Block Device的简称，RBD块存储是最稳定且最常用的存储类型。RBD块设备类似磁盘可以被挂载。 RBD块设备具有快照、多副本、克隆和一致性等特性，数据以条带化的方式存储在Ceph集群的多个OSD中。

块是一个有序字节，普通的块大小为512字节。基于块的存储是最常见的存储方式，例如硬盘。

RBD相关命令和操作

RBD的使用实际上就是对RBD image的使用，RBD image是由多个对象条带化存储到后端的块设备。

创建块设备镜像

创建块设备镜像命令是rbd create --size {megabytes} {pool-name}/{image-name}，如果pool_name不指定，则默认的pool是rbd。下面的命令将创建一个10GB大小的块设备：

rbd create --size 10240 foo_image

查看块设备镜像

查看块设备的命令是rbd info {pool-name}/{image-name}：

rbd info foo_image

将块设备映射到系统内核

块设备映射到操作系统的命令是rbd map {image-name} --pool {pool-name}

rbd map foo_image --pool rbd

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
In some cases useful info is found in syslog - try "dmesg | tail" or so.
rbd: map failed: (6) No such device or address

禁用当前系统内核不支持的feature：

rbd info foo_image
rbd image 'foo_image':
        size 10240 MB in 2560 objects
        order 22 (4096 kB objects)
        block_name_prefix: rbd_data.1218c2ae8944a
        format: 2
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
        flags:


rbd feature disable foo_image exclusive-lock, object-map, fast-diff, deep-flatten --pool rbd

注意到上面的rbd info显示的RBD镜像的format为2，Format 2的RBD镜像支持RBD分层，是实现Copy-On-Write的前提条件。

重新映射：

 rbd map foo_image --pool rbd
/dev/rbd0

格式化块设备镜像

mkfs.ext4 /dev/rbd0

取消块设备和内核映射

rbd unmap foo_image --pool rbd

删除块设备镜像

删除RBD镜像的命令是rbd rm {pool-name}/{image-name}

rbd rm rbd/foo_image

创建快照

rbd create --size 10240 foo_image

rbd snap create foo_image@foo_snap

列出创建的快照：

rbd snap list rbd/foo_image
SNAPID NAME         SIZE
     4 foo_snap 10240 MB

或者使用rbd ls {pool-name} -l列出：

rbd ls rbd -l
NAME                 SIZE PARENT FMT PROT LOCK
foo_image          10240M          2
foo_image@foo_snap 10240M          2

查看快照的详细信息：

rbd info rbd/foo_image@foo_snap
rbd image 'foo_image':
        size 10240 MB in 2560 objects
        order 22 (4096 kB objects)
        block_name_prefix: rbd_data.121b62ae8944a
        format: 2
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
        flags:
        protected: False

克隆快照

快照必须处于被保护状态才能被克隆。

执行命令rbd snap protect {pool-name}/{image-name}@{snapshot-name}将快照置成保护状态：

rbd snap protect rbd/foo_image@foo_snap

查看快照状态：

rbd info rbd/foo_image@foo_snap
rbd image 'foo_image':
        size 10240 MB in 2560 objects
        order 22 (4096 kB objects)
        block_name_prefix: rbd_data.121b62ae8944a
        format: 2
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
        flags:
        protected: True

接下来使用命令rbd clone {pool-name}/{parent-image}@{snap-name} {pool-name}/{child-image-name}克隆快照到另一个RBD pool的新image：

rbd clone rbd/foo_image@foo_snap kube/bar_image

查看克隆的镜像：

rbd ls kube -l
NAME          SIZE PARENT                 FMT PROT LOCK
bar_image   10240M rbd/foo_image@foo_snap   2

前面提到过format为2的image支持分层，接下来我们看一下foo_image@foo_snap这个快照的children rbd children {pool-name}/{image-name}@{snapshot-name}：

rbd children rbd/foo_image@foo_snap
kube/bar_image

从输出可以看出kube/bar_image基于rbd/foo_image@foo_snap。接下来我们使用rbd flatten {pool-name}/{image-name}将kube/bar_image压平：

rbd flatten kube/bar_image

再次查看kube/bar_image已经没有PARENT了：

rbd ls kube -l
NAME          SIZE PARENT FMT PROT LOCK
bar_image   10240M          2

导入导出RBD image

RBD image的导出和导入常用于RBD块设备的简单的备份与恢复。

导出RBD image rbd export {pool-name}/{image-name} {file}

rbd export rbd/foo_image /tmp/foo_image_export

导入RBD image rbd import {file} {pool-name}/{image-name}：

rbd import /tmp/foo_image_export rbd/bar_image --image-format 2

rbd ls rbd -l
NAME                 SIZE PARENT FMT PROT LOCK
bar_image          10240M          2
foo_image          10240M          2
foo_image@foo_snap 10240M          2 yes