ceph的数据存储之路（12）---cachetier YY的
Cache Tier:基于存储池的分层机制。一般的使用模式是第一层cache pool使用类似ssd的高速设备,第二层data pool使用低速设备。用以提高关键数据或者热点数据的性能,降低存储开销。cache pool与data pool的数据迁移有很多很多的参数可以配置,具体可以参考存储池的参数设置。 Scrub:系统检查数据的一致性的机制。比较PG内的对...
设置完了以后,可以看到cache pool的对象数目在 744左右,现在再写入数据,然后等待,看下会是多少,还是756,如果按我们设置的 cache_target_full_ratio 0.8就正好是800,我们尝试再次调整大cache_min_evict_age看下情况,对象维持在960左右,根据这个测试,基本上可以看出来是如何控制缓存的数据了,下面用一张图来看下这个问...
Cache Tier为用户提供的价值在于:提高热数据访问性能的同时,降低存储成本。实现这样的方法是:Cache Tier可以让冷数据自由安全地迁移到更低层的存储介质中(data pool),这样达到节约存储成本;让热点数据自动的从低层(data pool)迁移到高层存储层(cache tier),这样达到提高访问热点数据的性能。 三、Cache Tier的技术实现...
因此,我们知道我们集群有cache-tier的数据刷回,flashcache脏数据清理和Ceph恢复操作。所有这些操作都可能导致高HDD利用率。我们开始跟踪HDD动作,以便更好地了解事情的起因。第一个结果与预期的一样。缓存中有很多恢复操作。 可以理解,由于恢复过程的I/O主要是顺序的,在恢复过程中顺序读取会导致HDD利用率很高,但是当群...
ceph cache tier 因为经常看ceph交流群里的朋友们都在交流他们使用ceph cache tier时遇到的一些问题,所以特意记录下。 这个技术并不成熟,在20年之前就已经是废弃项目了,并且其源代码都即将要从ceph代码库里清除掉可能R版本清除cache tier源码 It hasn't been maintained for quite some time and is considered depre...
Set osd_pool_default_cache_target_full_ratio in the configuration file, restart the monitors so it is taken into account. Original report ceph v0.80.1 There is not effect when using: ceph osd pool set <poolname> cache_target_full_ratio <0.X> ceph osd dump -f <json-pretty> always sho...
1.5.11 Cache Tier RADOS实现了以pool为基础的自动分层存储机制。它在第一层可以设置cache pool,其为高速存储设备(例如SSD设备)。第二层为data pool,使用大容量低速存储设备(如HDD设备)可以使用EC模式来降低存储空间。通过Cache Tier,可以提高关键数据或者热点数据的性能,同时降低存储开销。
目前Ceph对纠删码(EC)的支持还比较有限。RBD目前不能直接支持纠删码(EC)模式。其或者应用在对象存储radosgw中,或者作为Cache Tier的二层存储。其中的原因和具体实现都将在后面的章节详细介绍。 1.5.10 快照和克隆 快照(snapshot)就是一个存储设备在某一时刻的全部只读镜像。克隆(clone)是在某一时刻的全部可写镜...
ceph osd tier set-overlay testpool cachepool ceph osd pool set cachepool hit_set_type bloom ceph osd pool set cachepool hit_set_count 1 ceph osd pool set cachepool hit_set_period 3600 1. 2. 3. 4. 5. 6. 7. 8. 上面的操作是基本的一些操作、我们现在做参数相关的调整 ...