Markov 不等式 对于非负随机变量 X⩾0, 考虑随机事件: X⩾a, 其中 a⩾0, 那么有如下估计: P(X⩾a)⩽E(X)a. 这个不等式的证明需要借助一些数形结合, 我们画出示性函数的图像: 于是我们有 IA⩽Xa. 两边取期望 E(IA)⩽E(X)a. 然后利用示性函数的性质 P(X⩾a)⩽E(X)a. 当然, 我
可见Hoeffding不等式是多个随机变量的Chernoff Bound的推广 Hoeffding不等式可以有效估计有界独立随机变量的和偏离期望过远的概率
即Rademacher变量是亚高斯变量。 和大数定律类似的结果,一系列亚高斯随机变量满足Hoeffding不等式: P[∑i=1n(Xi−μi)≥t]≤exp{−t22∑i=1nσi2} 证明考察独立随机变量{Xi
第一行用到了 Chernoff bound, 第二行将SmSm替换成累加, 移出指数函数外就是累乘, 如果蓝线部分为YiYi, 可以算出它的期望和区间 (右侧蓝色部分), 随机变量YiYi满足 Hoeffding's lemma 的条件, 所以可以使用这个定理得出第三行, 公式整理后得到第四行. 这里的tt只要满足大于 0 取任何值不等式都成立, 所以令...