示性函数, Markov 不等式, Chebyshev 不等式, Chernoff 界, Hoeffding 不等式, 泛化误差上界 示性函数 (indicative function) 示性函数的期望恰等于随机事件的概率, 即 E(IA)=P(A). 首先回顾示性函数的定义: IA(x)={1,x∈A,0,x∉A. 容易直接计算其期望, E(IA)=P(A)⋅1+P(A¯)⋅0=P(...
这个文章讲一下基于泊松过程推导一下 Chernoff-Hoeffding Bounds. (录制的视频在:https://www.bilibili.com/video/BV1EP411W7jg/) 定义随机变量: 要求上面的随机变量相互独立。 定义随机变量: 则我们想知道如下这个概率: 其中m 大于 X 的均值(数学期望),小于等于 n. ...
即Rademacher变量是亚高斯变量。 和大数定律类似的结果,一系列亚高斯随机变量满足Hoeffding 不等式: P[∑i=1n(Xi−μi)≥t]≤exp{−t22∑i=1nσi2} 证明考察独立随机变量{Xi−μi}i=1n
(视频在:https://www.bilibili.com/video/BV1PG411Z7hZ/) 这个文章讲一下 Chernoff Bounds,这个限其实是一种思路,不是一种固定的限,所以,如果上网搜的话,会有各种各样的不等式都被称为 Chernoff Bounds. 另外,名称上也有叫 Chernoff-Hoeffding Bounds, Chernoff 首先阐述了这种思想,用在抛硬币上,后来 Hoeffdi...
We prove the first Chernoff-Hoeffding bounds for general nonreversible finite-state Markov chains based on the standard L_1 (variation distance) mixing-time of the chain. Specifically, consider an ergodic Markov chain M and a weight function f: [n] -> [0,1] on the state space [n] of ...
Chernoff Bound与Hoeffding's Ineq 本文主要记录随机变量的Chernoff Bound和其推广Hoeffding不等式。 1.单个随机变量的Chernoff Bound 设X为实随机变量,则有: Pr(X>t)≤infs>0E(esX)estPr(X>t)≤infs>0E(esX)est 证明用Markov不等式即可。 2.多个随机变量的Chernoff Bound...
理解并简化切诺夫界（Chernoff bound）的关键在于掌握Hoeffding's inequality，这是概率论中一个非常重要的不等式。Hoeffding's inequality用于估计连续随机变量和离散随机变量在一定概率下的最大偏差。在描述切诺夫界时，Michael提供了一篇关于HDP（3）Chernoff's inequality的文章，这个链接可以帮助你深入理解。...
第一行用到了 Chernoff bound, 第二行将SmSm替换成累加, 移出指数函数外就是累乘, 如果蓝线部分为YiYi, 可以算出它的期望和区间 (右侧蓝色部分), 随机变量YiYi满足 Hoeffding's lemma 的条件, 所以可以使用这个定理得出第三行, 公式整理后得到第四行. 这里的tt只要满足大于 0 取任何值不等式都成立, 所以令...
与Chernoff不等式相关的关键概念包括马尔可夫不等式、切比雪夫不等式、Hoeffding不等式等。马尔可夫不等式和切比雪夫不等式都是概率论中的基本不等式,它们用于估计随机变量在一定区间内的取值概率。Hoeffding不等式则是另一个重要的概率不等式,它用于估计有界随机变量和的取值概率。这些不等式与Chernoff不...
Chernoff–Hoeffding (CH) bounds are fundamental tools used in bounding the tail probabilities of the sums of bounded and independent random variables (r.v.'s). We present a simple technique that gives slightly better bounds than these and that more importantly requires only limited independence amo...