max_global_streams_per_user: default = 0 在这里我们可以看到max_streams_per_user的local和global之间的计算方法,算法如下 (max_global_streams_per_user / max_streams_per_user) * replication_factor 复制因子的配置来至ingest_config.replication_factor 以下是limiter.go中对于全局最大日志流数的代码实现: fu...
limits_config:# 每个租户的最大日志流个数max_streams_per_user:|default=10000#启用全局的租户最大日志流个数,默认0关闭#一旦配置,每个租户日志流将有ingester注册到hash环上同时状态为#HEALTH的个数动态计算得出,任何ingester的数量变化都会动态生效到这个值max_global_streams_per_user:default=0 在这里我们可以...
在ingester的instance.go中,loki对调用上述AssertMaxStreamsPerUser方法来判断租户流的限制,如果返回不为空,则放弃本次处理,并抛出TooManyRequests异常 err = i.limiter.AssertMaxStreamsPerUser(i.instanceID, len(i.streams)) if err != nil { validation.DiscardedSamples.WithLabelValues(validation.StreamLimit, ...
max_streams_per_user: 100000 max_chunks_per_query: 100000 tenantB: max_streams_per_user: 1000000 max_chunks_per_query: 1000000 当我们在选择采用方案A的日子架构时,关于租户部分的限制逻辑就应该要根据租户内的日志规模灵活的配置。如果选择方案B,由于每个租户占有完整的Loki资源,所以这部分逻辑就直接由原生...
max_streams_per_user: 100000 max_chunks_per_query: 100000 tenantB: max_streams_per_user: 1000000 max_chunks_per_query: 1000000 1. 2. 3. 4. 5. 6. 7. 8. 当我们在选择采用方案A的日志架构时,关于租户部分的限制逻辑就应该要根据租户内的日志规模灵活的配置。如果选择方案B,由于...
原因:同下,需要调整 limit config 中的 max_streams_per_user, 设置为 0 即可 8.server returned HTTP status 429 Too Many Requests 原因: limit config 中的参数: ingestion_burst_size 默认值太小,调整即可 参考:https://github.com/grafana/loki/issues/1923 ...
reject_old_samples_max_age: 168h ingestion_rate_mb: 200 # ingestion_burst_size_mb: 400 # max_streams_per_user: 0 # max_chunks_per_query: 20000000 # max_query_parallelism: 140 # max_query_series: 5000 # cardinality_limit: 1000000 ...
overrides:tenantA:ingestion_rate_mb:10max_streams_per_user:100000max_chunks_per_query:100000tenantB:max_streams_per_user:1000000max_chunks_per_query:1000000 当我们在选择采用方案A的日志架构时,关于租户部分的限制逻辑就应该要根据租户内的日志规模灵活的配置。如果选择方案B,由于每个租户占有完整的Loki资源,...
(default 10) -ingester.max-streams-per-user int Maximum number of active streams per user, per ingester. 0 to disable. (default 10000) -ingester.max-transfer-retries int Number of times to try and transfer chunks before falling back to flushing. If set to 0 or negative value, transfers...
max_global_streams_per_user50000 (no limit) max_query_length"721h""0h" (no limit) max_query_parallelism3214 max_streams_per_user0 (no limit)10000 reject_old_samplestruefalse reject_old_samples_max_age"168h""336h" per_stream_rate_limit3MB- ...