按照数据被使用的频繁程度,数据可以被分为热数据、温数据和冷数据。 热数据,比如可以是半年以内的数据,用户经常会查询它们,适合放在数据库中存储,比如MySql、MongoDB和HBase,其中HBase是: Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结...
热数据指频繁访问的在线类数据,对存储性能要求高。 冷数据指不经常访问的离线类数据,比如备份和归档数据。存储性能要求相对低,要求大容量存储介质。 温数据的访问频率、对存储性能的要求都介于热数据和冷数据之间。
这些存储类主要包括冷数据、热数据和温数据。 冷数据:指那些访问频率极低的数据,如历史档案、长期备份等。这类数据通常被存储在成本较低的存储介质上,如磁带或光盘,以降低存储成本。(好物分享:对于冷数据存储,可以考虑使用百度智能云的对象存储服务,其分层存储功能能智能管理冷热数据,降低成本。) 热数据:与冷数据相...
从数据生命周期来看,在数据刚生成并使用时,属于在线热数据,热数据访问的频率最高,数据价值最高,对数据访问的性能、数据访问的连续性、数据逻辑错误后的恢复性有很高的要求,但随着时间的推移,在线热数据会逐步变成温数据,甚至冷数据和冰数据。 访问频次决定数据的“温度” 二、不同“温度” 数据的管理方式 数据“温...
在工作中,我们利用到的业务数据可以从两个层面上来说:一个是访问频次,一个是数据。 按照数据被访问的频次,数据可以被分为热数据、温数据和冷数据。 热数据---是被频繁访问的在线类数据。 具体场景:半年以内的数据,用户经常会查询的数据。 存储:适合放在数据库中存储像MySql、elasticsearch、MongoDB和HBase。
1.数据存储分类:Hot, Warm and Cold Data Storage 和食物、水一样,数据也有温度! 热数据在锅里,温数据在桌上和冷数据在冷冻箱里! 2.如何区分他们? 维度:查询响应时间,查询并发支持能力,查询场景, 数据更新及时性 3.如何实现他们? 不同类型的存储,对应不同的数据集成策略,不同的存储选型。待续。
热数据指的是频繁被访问与计算的数据，如近半年内的数据。这类数据适合存放在性能较高的数据库中，以支持快速访问，如MySQL、MongoDB与HBase。温数据包括非即时状态与行为数据，可以视作热数据与冷数据的混合，其整体数据量通常较小，因此可能不需要进行热温数据划分。冷数据则是指离线类不常访问的数据...
总结成一句话就是:热数据就近计算,冷数据集中存储。 从存储形式来说,一般情况冷数据存储在磁带、光盘,目前发展比较好的是蓝光光盘。热数据一般存放在SSD中,存取速度快,而温数据可以存放在7200转的硬盘。 目前比较常见的冷热分离方案是将冷热数据分离到两套不同的系统,这两套系统拥有不同的存储特性、访问方式等,从而...
热数据、温数据、冷数据 按照数据被使用的频繁程度,数据可以被分为热数据、温数据和冷数据。 热数据,比如可以是半年以内的数据,用户经常会查询它们,适合放在数据库中存储,比如MySql、MongoDB和HBase,其中HBase是: Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价...
冷数据是较长时间之前的状态数据,即用户画像数据,常见的有银行凭证、税务凭证、医疗档案、影视资料等。冷数据不需要实时访问到离线数据,用于灾难恢复的备份或者因为要遵守法律规定必须保留一段时间的。 温数据是非即时的状态和行为数据。简单理解可以这样,把热数据和冷数据混在一起就成了温数据。比如用户近期对某一类型...