原假设成立时,显著性水平 α 越小,接受原假设的比率(真阴性率)越高, 犯Type I Error的概率自然越小,一般取值:0.01、0.05、0.1等. Alternative hypothesis成立时,显著性水平 α 越小,意味着power越弱,被错误当成原假设(假阴性结果)的比率越高。 合起来,显著性水平 α 越小,接受原假设的比率(阴性率)越高。
Like this glossary entry? For an in-depth and comprehensive reading on A/B testing stats, check out the book"Statistical Methods in Online A/B Testing"by the author of this glossary, Georgi Georgiev. Articles on Null Hypothesis Statistical Test ...