决策树模型
决策树是机器学习中最直观的一类模型。它不断提出类似“年龄是否小于 30”“收入是否大于某个阈值”的问题，把样本空间切分成越来越小的区域，最后在叶节点中给出预测结果。 它的优势是结构容易解释、能够处理非线性关系、几乎不需要特征缩放，并且可以自然地处理数值特征和类别特征。它的弱点也很鲜明：单棵深树很容易记住训练集，导致过拟合；当数据发生轻微变化时，树的上层分裂有时也会明显改变。 因此，理解决策树不能只停留在“画一棵树”。真正重要的问题是：每一步如何选择分裂、不同算法的指标有什么区别、树什么时候应该停止生长，以及已经长出的树如何剪枝。 1. 一棵决策树在做什么设训练集为 \[\mathcal D=\{(\boldsymbol x_i,y_i)\}_{i=1}^{n},\] 其中 \(\boldsymbol x_i\) 是特征，\(y_i\) 是标签。决策树把特征空间划分成若干个互不重叠的区域 \(R_1,R_2,\ldots,R_M\)，并在每个区域中给出一个常数预测： \[\hat f(\boldsymbol x)=\sum_{m=1}^{M}...
贝叶斯优化
许多机器学习模型都有一组需要在训练之前设定的超参数，例如学习率、正则化强度、树深度和 batch size。一次完整训练可能需要几分钟、几小时，甚至几天，因此我们不能穷举所有组合。 贝叶斯优化（Bayesian Optimization, BO）就是为这类“每试一次都很贵”的黑盒优化问题准备的。它不会盲目地试点，而是用已有观测建立一个带不确定性的代理模型，再决定下一次最值得评估的位置。 本文中的 GP 贝叶斯优化会用到 高斯过程 的后验均值和方差。 贝叶斯优化的目标设目标函数为 \[f:\mathcal X\rightarrow\mathbb R,\] 我们想在可行域 \(\mathcal X\) 内找到 \[x^*=\operatorname*{argmax}_{x\in\mathcal X}f(x).\] 如果实际问题是最小化损失 \(L(x)\)，只需要令 \(f(x)=-L(x)\)，或在算法中直接使用最小化版本。 贝叶斯优化常用于满足以下特点的问题： 目标函数是黑盒：只能输入 \(x\) 并观测 \(f(x)\)，没有显式表达式。 评估代价高：一次...
高斯过程
在概率与统计中，我们学习过高斯分布，也称正态分布。这一次，我想学习它在“函数空间”中的进阶版本：高斯过程（Gaussian Process, GP）。 高斯过程不是只给出一条拟合曲线，而是给出一组可能的函数及其概率。因此，它既能预测，也能告诉我们“这个预测有多不确定”。 随机过程一个随机变量只描述一次随机试验的结果，而随机过程描述一组随着时间、空间或其他索引变化的随机变量。 设 \(T\) 是索引集，随机过程写作 \[\{X(t):t\in T\}.\] 当 \(t\) 表示时间时，每一个固定的 \(t\) 都对应一个随机变量 \(X(t)\)；而固定一次随机试验的结果后，\(t\mapsto X(t)\) 又会形成一条确定的样本路径。 理论上，一个随机过程可以由所有有限维分布描述：任取 \(t_1,\ldots,t_n\in T\)，考察随机向量 \[\bigl(X(t_1),\ldots,X(t_n)\bigr)^\mathsf{T}.\] 高斯过程的特别之处就在于：上述任意有限维随机向量都服从多元高斯分布。 从一元到多元高斯分布一元高斯分布若 \(X\sim\mathcal...