【Code】GP-UCB 算法及其实现

GP-UCB 算法

本 Notebook 主要是为 GP-UCB 算法的代码提供一个范例，这里使用了 Beale 函数作为 Benchmark ，并且后文当中有相对丰富的图像展示了 GP-UCB 算法的性能。

如果有使用 Obsidian 的读者，相信一定会知道有一个非常有意义的语法就是 callout ，不熟悉的朋友也可以参考官方链接 ¹ ，它就是用形如

> [!note] Note
> 方框当中的内容

来实现一个方框的效果，相比引用 (blockquote) 语法，它有更 fancy 的外观，可以根据内容的实际意图有不同的外观. 而在 Typecho 当中，实际上也有方法实现这类内容，用上面的代码，可以渲染得到如下的内容：

[!note] Note
方框当中的内容

为了之后优化问题的研究，我在此留一些日后自己写算法需要的测试函数（Benchmark），有简单到可以手算的，也有相对复杂的，根据实际情况我将持续更新本文.

为了做论文当中的优化问题，特地学了一下约束优化相关的教材之外的方法，最近才有精力研读了一下 ADMM 算法相关的内容，发现很适合目前正在做的问题. 本文章的主要内容来源于 Stephen Boyd 的 ADMM 小册子 ¹ .

如果你需要求解非光滑的等式约束优化问题：

$$ \begin{aligned} & \min \quad f(\boldsymbol{x}) \\ & \mathrm{s.t.} \quad \boldsymbol{Ax} = \boldsymbol{b} \end{aligned} $$

或许本文有所帮助。

组会找了一篇 ICML 的贝叶斯优化相关论文，主要集中探究的主题是：对于 GP-BO ，输入数据集既有分类变量又有连续变量的时候，应该如何处理？这也是 Mixed Search Space 方向，也算是 BO 当中目前仍在解决的领域。希望自己能有朝一日也在 ICML 这种顶会上发论文。💪