Typically, acquisition functions are defined such that high acquisition corresponds to potentially high values of the objective function, whether because the prediction is high, the uncertainty is great, or both.也就是说贝叶斯优化选择的搜索方向为预测值大的位置或者不确定性大的位置,这样才有可能搜到目标...
但现实往往没有那么理想,这个函数的一阶、二阶导数信息我们可能是没有的,甚至计算一次函数的值都很费劲(给定一个x,计算f(x) 的计算量很大。 比如神经网络中的超参数优化),这时候就要求助 gradient-free 的优化算法了,这类算法也很多了,贝叶斯优化就属于无梯度优化算法中的...
寻找acquisition function最大的对应解,更精细化的可以去优化一下,这里仅展示随机采样的方式。 defacq_max(ac, gp, y_max, bounds, random_state, n_warmup=10000):# 随机采样选择最大值x_tries = np.random.RandomState(random_state).uniform(bounds[:,0], bounds[...