该文章介绍了SMBO的基本框架,以及GPR和TPE两种优化策略。 SMBO SMBO全名Sequential model-based optimization,序列化基于模型的优化。所谓序列化,是指通过迭代的方式,通过一次一次试验来进行优化。SMBO是贝叶斯优化的一种具体实现形式,所以下文中我们可能会直接把SMBO跟贝叶斯优化混着说。 SMBO的框架是这样的: SMBO框架伪...
通俗科普文:贝叶斯优化与SMBO、高斯过程回归、TPE 贝叶斯优化是AutoML中的重要概念,近年来变得很火热。作为一种重要的基于先验的调参/策略选择技术,贝叶斯的应用范围也很广。但这个概念对于初次接触的同学可能较难理解,经过数天的论文研读、博客/教程/代码查阅,我总结了这篇科普文,也手绘了一些示意图,希望尽量在一篇文...
贝叶斯优化（Bayesian Optimization, BO）成为了重要的工具之一。本文旨在以通俗易懂的方式解释贝叶斯优化及与之相关的概念，如SMBO、高斯过程回归（GPR）和Tree Parzen Estimator（TPE），帮助初学者理解这些概念及其在自动调参中的应用。