如果说已经使用纯HDD部署的osd希望将db或wal迁移到sdd或nvme上来提升速度的话,那么有以下几种方式可以实现。 2.1 重建osd 将osd从存储池移除,重新部署,重新部署时将osd的db和wal指定在ssd或nvme设备上。 2.1.2 非容器部署方式 直接使用ceph-volume lvm create并指定db设备或wal设备及db大小 root@node1:/# ceph...
在将hdd更换为sata ssd之后,正如之前所料,bluestore层的延迟得到了质的提升,并且bluestore已经表现出sata ssd该有的性能。 以上测试看起来osd表现正常,但是和我没有得到自己想要看到的结果,我并不想看到性能瓶颈在硬件上,也有可能是sata ssd还不足以让osd表现出软件栈上的不足。我应该用更小块的IO进行更密集的压力...
在发现第一个osd跪了半小时之后,又传来了两个osd跪掉的信息,看来担心的事情发生了,即使是ssd磁盘,一个块的损坏也可能会引发其他块出问题,前端仍在全速写入,因为采取的是2副本模式,坏掉的ssd的osd属于同一个故障域,所以即使集群跪掉3个osd,也不会影响写入功能,为了保证写入,我们第一时间设置了osd noout 1 sudo...
Ceph 会认为每个磁盘能力一样，会平均每个磁盘的 IO 能力(primary affinity)与存储空间能力(weight) primary affinity。参数可以在不改变磁盘存储能力的情况下, 降低在 Ceph 集群使用过程中对该OSD的认购 primary pg 能力。从上图看出来， primary OSD 在每次 peering 时, 都会比 secondary OSD 具有更多的 IO。/et...
用ssd盘来journal ,命令执行如下 1.格式化磁盘 # ceph-deploy disk zap ceph1:sdb ceph1:sdc ceph1:sdd #sdb sdc sdd为需要格式化的磁盘 2.准备osd # ceph-deploy --overwrite-conf osd prepare ceph1:sdb:/dev/sde1 ceph1:sdc:/dev/sde2 ceph1:sdd:/dev/sde3 ...
华云数据本期“智汇华云”专栏将针对“Ceph的正确玩法之指定SSD为主OSD,HDD为从OSD”技术,与大家共同分享云计算领域的最新技术与解决方案。参数可以在不改变磁盘存储能力的情况下, 降低在 Ceph 集…
Ceph引入事务与日志,来实现数据写盘操作的原子性,并解决数据不一致的问题。即所谓的“ceph数据双写”:先把数据全部封装成一个事务,将其整体作为一条日志,写入ceph-osd journal,然后再把数据定时回刷写入对象文件,将其持久化到ceph-osd filestore中。 基于以上过程,可以将SSD作为ceph-osd journal的底层存储设备,来加...
3)ceph写性能较低,但是随着osd数量的增加,写性能均直线上涨 4)对比老ceph集群,新ceph集群osd主机换用ssd磁盘当日志卷,性能提升明显 注: 测试工具使用fio 单VM挂载ceph裸盘100G,块大小选择4k 512k,iodepth选择32 64 128,打开rbd cache;在3/6/9osd host下进行测试...
将osd编号3-5标记为ssd [root@storage1 ~]# for i in {3..5} ;do ceph osd crushset-device-class ssd osd.$i;done set osd(s) 3 to class 'ssd' set osd(s) 4 to class 'ssd' set osd(s) 5 to class 'ssd' [root@storage1 ~]# ceph osd tree ...
Proxmox VE 超融合集群ceph OSD磁盘塞满处理 故障描述 查看pve管理后台概述,发现有告警,提示ceph健康告警。 点这个黄色图标,得到更进一步的信息:有2个OSD磁盘塞满了。 再用鼠标点击第一行“2 nearfull osd(?)”右侧的感叹号,可确定序号为5与7的磁盘塞满了。