可见Hoeffding不等式是多个随机变量的Chernoff Bound的推广 Hoeffding不等式可以有效估计有界独立随机变量的和偏离期望过远的概率
Chernoff界给出了高斯随机变量的尾部估计,就可以寻比高斯随机变量更集中的随机变量——亚高斯随机变量。 定义借助亚高斯随机变量的定义,我们可以立即知道,若X为亚高斯随机变量,那么−X也是亚高斯随机变量,因此,我们有: P[X≤μ−t]≤e−t22σ2,t≥0 因此亚高斯随机变量满足集中不等式,其中σ为某一个参数:...
Markov 不等式 对于非负随机变量 X⩾0, 考虑随机事件: X⩾a, 其中 a⩾0, 那么有如下估计: P(X⩾a)⩽E(X)a. 这个不等式的证明需要借助一些数形结合, 我们画出示性函数的图像: 于是我们有 IA⩽Xa. 两边取期望 E(IA)⩽E(X)a. 然后利用示性函数的性质 P(X⩾a)⩽E(X)a. 当然, ...
第一行用到了 Chernoff bound, 第二行将SmSm替换成累加, 移出指数函数外就是累乘, 如果蓝线部分为YiYi, 可以算出它的期望和区间 (右侧蓝色部分), 随机变量YiYi满足 Hoeffding's lemma 的条件, 所以可以使用这个定理得出第三行, 公式整理后得到第四行. 这里的tt只要满足大于 0 取任何值不等式都成立, 所以令...