我们今天来讨论,当关注的变量Z是一系列i.i.d随机变量的和这类情况下,相比Chernoff bound更加紧凑的bound霍夫丁不等式(Hoeffding's inequality)。我们首先快速回顾用来证明Hoeffding's inequality所需要的工具,詹森不等式(jensen's inequality)。 Jensen's Inequality 詹森不等式(Jensen's inequality)是统计与最优化领域...
霍夫丁不等式(Hoeffding's inequality) 霍夫丁不等式(Hoeffding's inequality)是机器学习的基础理论,通过它可以推导出机器学习在理论上的可行性。 1.简述 在概率论中,霍夫丁不等式给出了随机变量的和与其期望值偏差的概率上限,该不等式被Wassily Hoeffding于1963年提出并证明。霍夫丁不等式是Azuma-Hoeffding不等式的...
霍夫丁不等式，由Wassily Hoeffding在1963年提出，是概率论中的重要理论，它揭示了随机变量和其期望值偏差的概率上限。此不等式比Bernstein不等式更具一般性，并且是Azuma-Hoeffding不等式的特例。在机器学习领域，霍夫丁不等式为理论可行性提供了坚实基础。霍夫丁不等式在特定条件下的伯努利随机变量特例中表...
首先，我们回顾了詹森不等式(jensen's inequality)，这是证明霍夫丁不等式的关键工具。詹森不等式指出，对于一个凸函数，其在随机变量期望值上的映射结果大于或等于该函数在其随机变量上的期望值。然后，我们通过Hoeffding引理(Hoeffding' lemma)的证明，利用詹森不等式的特性，建立了霍夫丁不等式的基本形式...
In probability theory, Hoeffding’s inequality provides an upper bound on the probability that the sum of random variables deviates from its expected value. Hoeffding’s inequality was proved by Wassily Hoeffding in 1963.[1] √ For example, taking ε = ln n/n gives: ( √) ...
C. Pelekis and J. Ramon, Hoeffding's inequality for sums of weakly dependent random variables, Preprint. Arxiv: 1507.06871v1Pelekis Cristos, Ramon Jan. Hoeffdings inequality for sums of weakly de- pendent random variables. arXiv:1507.06871v1 [math.PR] 24 Jul 2015...
函数外就是累乘, 如果蓝线部分为YiYi, 可以算出它的期望和区间 (右侧蓝色部分), 随机变量YiYi满足 Hoeffding's lemma 的条件, 所以可以使用这个定理得出第三行, 公式整理后得到第四行. 这里的tt只要满足大于 0 取任何值不等式都成立, 所以令tt等于右下角黑色字体的公式, 整理后即为Hoeffding's inequality 的...
霍夫丁不等式是PAC Learning中的一个重要工具，用于估计误差界。在PAC Learning中，Valiant在1984年提出了“Probably Approximately Correct”学习理论，它定义了一个概念类可被学习的条件。PAC理论关注的问题包括：一个问题是何时可学习的，什么条件下特定算法能保证成功，复杂度如何，样本数量与学习能力的...
, Xn are independent Bernoulli random variables and if $$\\\psi :\\\{ 0,...,n\\\} o R$$ is (strictly) concave, then $${{\\\Bbb E}_{\\\bar p}}\\\left[ {\\\psi \\\left( {\\\sum\\\limits_{i = 1}^n {{X_i}} } ight)} ight]\\\underline { \\\leqslant \\\...
在概率论中,霍夫丁不等式(Hoeffding’s Inequality)给出了有界独立随机变量之和偏离其均值超过一定数量的概率上界。霍夫不等式是切比雪夫界的推广,同时又是吾妻不等式和McDiarmid不等式(还没给出标准的中文翻译2333)。霍夫丁不等式是机器学习的基础理论。