现在我们在所有的环境中都有chunk_target_size: 1536000。这指示 Loki 尝试将所有的 chunks 填充到 1.5MB 的目标压缩大小。这些较大的块对 Loki 来说是更有效的处理。 其他几个配置变量会影响到一个块的大小。Loki 默认的max_chunk_age为 1 小时,chunk_idle_period为 30 分钟,以限制所使用的内存量,以及在进...
再往下一点是关于chunk_target_size的部分。如果你把这个设置为 1MB(这是合理的),这将试图以 1MB 的压缩大小来切割块,这大约是 5MB 左右的未压缩的日志(可能多达 10MB,取决于压缩)。如果你的日志有足够的容量在比max_chunk_age更短的时间内写入 5MB,或者在这个时间范围内有多的多的块,你可能要考虑用动态标签...
chunk_target_size: 1048576 # Loki will attempt to build chunks up to 1.5MB, flushing first ifchunk_idle_period or max_chunk_age is reached first chunk_retain_period: 30s # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m) max_trans...
在没加 level 标签的情况下只需加载一个 chunk 即app=“loki”的标签。 如果加了 level 的情况,则需要把level=info,warn,error,critical5 个 chunk 都加载再查询 需要标签时再去添加 当chunk_target_size=1MB 时代表 以 1MB 的压缩大小来切割块, 对应的原始日志大小在 5MB-10MB,如果日志在max_chunk_age时间...
再往下一点是关于chunk_target_size的部分。如果你把这个设置为 1MB(这是合理的),这将试图以 1MB 的压缩大小来切割块,这大约是 5MB 左右的未压缩的日志(可能多达 10MB,取决于压缩)。如果你的日志有足够的容量在比max_chunk_age更短的时间内写入 5MB,或者在这个时间范围内有多的多的块,你可能要考虑用动态标签...
7. 使用chunk_target_size 这是在 2020 年早些时候我们发布 Loki v1.3.0时添加的,我们已经用它实验了几个月。现在我们在所有的环境中都有chunk_target_size: 1536000。这指示 Loki 尝试将所有的 chunks 填充到 1.5MB 的目标压缩大小。这些较大的块对 Loki 来说是更有效的处理。
chunk_target_size: 1048576 # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first chunk_retain_period: 30s # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m) ...
Loki通过构建压缩数据块来实现这一点,方法是在日志进入时对其进行gzip操作,组件ingester是一个有状态的组件,负责构建和刷新chunck,当chunk达到一定的数量或者时间后,刷新到存储中去。每个流的日志对应一个ingester,当日志到达Distributor后,根据元数据和hash算法计算出应该到哪个ing...
chunk_target_size:1048576max_chunk_age: 10m 上述配置将告诉Loki将内存中的数据写入到磁盘中的时间间隔是10分钟,或者当临时数据的大小达到1MB时会被写入到磁盘中。 这意味着,当Loki的内存中的数据量达到1MB时,Loki会将这些数据转换为一个可被查询的块,并写入到磁盘中,以便之后的查询可以检索到这些数据。 需要注...
chunk_target_size默认为1MB,loki将以1MB的压缩后大小来切割日志块,大约等于5MB的原始日志文件(根据你配置的压缩级别来决定)。如果在max_chunk_age时间内,你的日志流足以生成一个或者多个压缩块,那么你可以考虑添加标签,将日志流拆得更细一点。从Loki 1.4.0开始,有一个指标可以帮助我们了解日志块刷新的情况 ...