分离超平面定理的官方证明,Stephen Boyd & Lieven Vandenberghe, Convex Optimization Solution Manual, Chapt 2 想看原版自己啃的也可以去翻配套的Solution Manual。其关键在于要证明存在一个a满足a^\intercal x>a^\intercal y恒成立,这样利用任意性就可以夹逼出b。 支撑超平面(Supporting Hyperplane) 支撑超平面的定义 ...
Chapter 4:Convex optimization problems Chapter 5: Lagrangian duality (拉格朗日对偶) Part II: Applications(主要介绍凸优化是如何应用在实际中的) Part III: Algorithms unconstrained optimization equality constrained optimization inequality constrained optimization ...
对偶锥的性质证明,Stephen Boyd & Lieven Vandenberghe, Convex Optimization Solution Manual, Chapt 2 解决了以上问题,基本上就可以进一步确认对偶不等式的存在性了。下一个问题是,对偶锥到底是个啥东西? 书中的原文是, K^* 中每一个向量对应的超平面都应该是 K 的支撑超平面: 几何解释,Stephen Boyd & Lieven ...
同理当不满足(1.2)的优化问题则成为非线性规划(nonlinear program)。 凸优化问题(Convex Optimization)需满足的条件相比线性规划更加广泛,所以后者也可以理解为前者的一个子集,凸优化需满足的条件如下: \[f_i(αx+βy)≤αf_i(x)+βf_i(y) \tag{1.3}\] 理解定义光看定义(1.1)不太直观,举个栗子直观理解...
I. 仿射凸集(Affine and convex sets) 1. 线与线段 假设\(R^n\)空间内两点\(x_1,x_2\, (x_1≠x_2)\),那么\(y=\theta x_1+(1-\theta)x_2, \theta∈R\)表示从x1到x2的线。而当\(0≤\theta≤1\)时,表示x1到x2的线段。
非线性规划(nonlinear programming)也叫非线性优化(nonlinear optimization)。 注意:非线性优化问题可能是也可能不是凸优化问题。 此时优化问题解可划分成局部最优解,全局最优解。 1.5 大纲 本书的大纲如下: Part I: Theory Chapter 2:Convex Sets(凸集) ...
读convex optimization (Stephen Boyd):最优化 最小二乘 线性规划 凸优化 非线性规划 (intro part),程序员大本营,技术文章内容聚合第一站。
4. 凸集(Convex sets) 凸集定义: 如果集合\(C\)中的任意两点之间的线段(上的所有点)在\(C\)上,也就是说如果\(\forall{x_1,x_2∈C},0≤\theta≤1\),都有\(\theta x_1+(1-\theta)x_2∈C\),那么集合\(C\)为凸集。 注意要区分凸集和仿射集定义,前者是线段,后者是直线。
ConvexOptimization—Boyd&Vandenberghe 10.Unconstrainedminimization •terminologyandassumptions •gradientdescentmethod •steepestdescentmethod •Newton’smethod •self-concordantfunctions •implementation 10–1 Unconstrainedminimization minimizef(x) •fconvex,twicecontinuouslydifferentiable(hencedomfopen) ...
I. 仿射凸集(Affine and convex sets) 1. 线与线段 假设$R^n$空间内两点$x_1,x_2\, (x_1≠x_2)$,那么$y=\theta x_1+(1 \theta)x_2, \theta∈R$表示从x1到x2的线。而当$0≤\theta≤1$时,表示x1到x2的线