按照数据被使用的频繁程度,数据可以被分为热数据、温数据和冷数据。 热数据,比如可以是半年以内的数据,用户经常会查询它们,适合放在数据库中存储,比如MySql、MongoDB和HBase,其中HBase是: Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结...
冷数据指不经常访问的离线类数据,比如备份和归档数据。存储性能要求相对低,要求大容量存储介质。 温数据的访问频率、对存储性能的要求都介于热数据和冷数据之间。
冷数据:适用于长期保存的历史数据、备份数据等。这些数据通常只在特定时间或场景下被访问,因此可以采用分层存储和缓存技术来提高数据读取速度。(解决方案:百度智能云的对象存储服务提供了完善的冷数据存储方案,助力企业高效管理历史数据。) 热数据:适用于在线业务系统、实时数据分析等场景。这些场景需要快速访问和读写大量...
按照数据被访问的频次,数据可以被分为热数据、温数据和冷数据。 热数据---是被频繁访问的在线类数据。 具体场景:半年以内的数据,用户经常会查询的数据。 存储:适合放在数据库中存储像MySql、elasticsearch、MongoDB和HBase。 注:HBase:Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利...
1.数据存储分类:Hot, Warm and Cold Data Storage 和食物、水一样,数据也有温度! 热数据在锅里,温数据在桌上和冷数据在冷冻箱里! 2.如何区分他们? 维度:查询响应时间,查询并发支持能力,查询场景, 数据更新及时性 3.如何实现他们? 不同类型的存储,对应不同的数据集成策略,不同的存储选型。待续。
数据无处不在 从数据生命周期来看,在数据刚生成并使用时,属于在线热数据,热数据访问的频率最高,数据价值最高,对数据访问的性能、数据访问的连续性、数据逻辑错误后的恢复性有很高的要求,但随着时间的推移,在线热数据会逐步变成温数据,甚至冷数据和冰数据。
冷数据是较长时间之前的状态数据,即用户画像数据,常见的有银行凭证、税务凭证、医疗档案、影视资料等。冷数据不需要实时访问到离线数据,用于灾难恢复的备份或者因为要遵守法律规定必须保留一段时间的。 温数据是非即时的状态和行为数据。简单理解可以这样,把热数据和冷数据混在一起就成了温数据。比如用户近期对某一类型...
总结成一句话就是:热数据就近计算,冷数据集中存储。 从存储形式来说,一般情况冷数据存储在磁带、光盘,目前发展比较好的是蓝光光盘。热数据一般存放在SSD中,存取速度快,而温数据可以存放在7200转的硬盘。 目前比较常见的冷热分离方案是将冷热数据分离到两套不同的系统,这两套系统拥有不同的存储特性、访问方式等,从而...
热数据指的是频繁被访问与计算的数据，如近半年内的数据。这类数据适合存放在性能较高的数据库中，以支持快速访问，如MySQL、MongoDB与HBase。温数据包括非即时状态与行为数据，可以视作热数据与冷数据的混合，其整体数据量通常较小，因此可能不需要进行热温数据划分。冷数据则是指离线类不常访问的数据...
从一般统计来看,社会运行所产生的数据中,冷、温、热数据的占比分别为80%、15%、5%,其中冷数据是存量最多的数据。“白皮书”中作出分析,在 “东数西算” 中,工业互联网、灾害预警、远程医疗、自动驾驶等需要被计算节点频繁访问、网络时延要求高的实时在线类“热数据”不适合“西算”,而离线分析、后台加工、存储...