0.Blog

统计知识总结(一)

Mon, 24 Feb 2025 00:00:00 GMT

概率

条件概率

设A与B是样本空间的两事件。若 ,则称为在B发生下A的条件概率

全概率公式

设为样本空间的一个分割，即互不相容，且 ,如果 ,则对任一事件A有

因为

且互不相容，所以由可加性得

再将

满足0

贝叶斯公式

设为样本空间的一个分割，即互不相容，且 ,如果P(A)>0 ,则

随机变量及其分布

分布函数

设是一个随机变量，对任意实数,称

为随机变量的分布函数，且称服从,记为 .有时间也可用以表明是X的分布函数

连续随机变量的概率密度函数

一切可能取值充满某个区间，而在这个区间内有无穷不可列个实数，因此这类随机变量的概率分布不能再用分布列形式表示，而要改用概率密度函数表示。

概率密度函数的值虽不是概率，但乘微分元dx就可得小区间上概率的近似值，即

即

在上的积分就是分布函数，即

设随机变量的分布函数为，如果存在实数轴上的一个非负可积函数 ,使得对任意实数有

则称为的概率密度函数，简称为密度函数或密度．同时称为连续随机变呈，称为连续分布函数。

随机变量的期望、方差、标准差

设离散随机变量X的分布列为

如果

则

如果随机变量的数学期望存在，则称偏差平方的数学期望为随机变量的方差

方差的平方根记为标准差

方差的性质

常数方差为0，若是常数，则

常用的离散分布

二项分布

记为重伯努利实验中成功(记为事件A)的次数，则的可能取值为 ,记为每次试验中发生的概率，即

如抛硬币实验，每次抛硬币正面朝上的概率为,反面朝上概率为,实验n次，证明朝上k次的概率

n重伯努利试验的基本结果可以记作:

事件发生次的概率为：

这个分布就称为二项分布，记为

二项分布除抛硬币例子外，还有如:

检查10件产品，10件产品不合格品的个数X服从二项分布 ,其中为不合格率

0-1分布

n=1时的二项分布就称为0-1分布，或伯努利分布

二项分布的数学期望和方差

设随机变量

因为 ,

即

其方差为

泊松分布

其中参数 ,记为

泊松分布是一种常用的离散分布，它常与单位时间（或单位面积、单位产品等）上的计数过程相联系，譬如:

在一天内，来到某商场的顾客数

某地区某一时间间隔内发生交通事故的次数

其期望方差均为

泊松分布有一个非常实用的特性，即可以用泊松分布作为二项分布的一种近似。在二项分布中，当n较大时计算比较麻烦。当n较大且p较小时可以使用泊松定理来减少二项分布的计算

泊松定理在n重伯努利试验中，记事件A在一次试验中发生的概率为与试验次数有关，如果当时，有 ,则:

由于泊松定理是在条件下获得的，故计算二项分布时，当n很大，p很小，而乘积大小适中时，可以用泊松分布做近似，即:

超几何分布

从一个有限总体中进行不放回抽样常会遇到超几何分布

设有件产品，其中有件不合格品，若从中不放回地随机抽取件，其中含有的不合格品的件数服从超几何分布，记为。超几个分布的概率分布列为：

其期望为,方差为

当时，即抽样个数远小于产品总数时，每次抽取后，总体中的不合格品率改变很小，所以不放回抽样可近似看成放回抽样，这时超几何分布可以用二项分布近似

几何分布与负二项分布

在伯努利试验序列中，记每次试验中事件发生的概率为,如果为事件首次出现的试验次数，则的可能取值为称服从几何分布，记为

如

某产品不合格率为0.05，则首次查到不合格率的检查次数

掷一颗骰子，首次出现6点投掷次数

其数学期望为,方差为

几何分布具有无记忆性

比如说在一系列伯努利试验序列中，若首次成功(A)出现的试验次数服从几何分布，则事件记为表示前次试验中A没有出现。假如在接下去的次试验中A仍未出现，这个事件记为 .

该定理表明：在前m次试验中A没有出现的条件下，在接下去的n次试验中A仍未出现的概率只与n有关，而与以前的m次试验无关，似乎忘记了前m次试验结果，这就是无记忆性

常用连续分布

正态分布

概率密度函数

则称服从正态分布，称为正态变量，记

其分布函数为

时的正态分布为标准正态分布，其密度函数为,分数函数为

均匀分布

记作

均值为 ,方差为

指数分布

其概率密度函数为

其分布函数为

其期望为 ,方差为

其他分布有gamma分布、贝塔分布、卡方分布、柯西分布等。

因果推断入门-2

Mon, 12 May 2025 00:00:00 GMT

结构因果模型

如果是导致的原因，记作

有时产生结果的因素不止,则有

当X不是导致Y结果的直接因素时，则有

或记为

X是导致Y的原因

导致Y的原因有两个

其他同理

下面看一个例子

U是外生变量，V是内生变量，边的关系就由刻画

内生变量是外生变量的子节点，外生变量没有任何子节点

比如说出去找工作，工资和受教育程度及经验有关

外生变量集合为教育程度，为经验

内生变量集合为 ,表示的是薪资

内生变量和外生变量之间的关系为

这个结构化因果模型对应的图结构如下

再看一个更复杂的例子，打篮球的表现

内生变量有三个

Intransitive case

因果性和相关性之间的区别，比如说冰激凌销量和溺水人数相关性高，但是冰激凌销量并不是溺水人数的因，可能是因为夏天游泳人数多溺水人数就多，冰淇淋销量也多

一般来说和之间是统计独立的就不存在因果关系，但是也有一些特例

看下面的例子，的取值由抛硬币决定, 的取值也由抛硬币决定，两个硬币之间相互独立，的取值为0,1，当前仅当X的值和的值相等时，Y的值才为1。

X跟Y是有因果性的，但是其之间是统计独立的

所以X,Y是统计独立的。

再看一个例子：

上边图结构，大多数情况而言，X和Y是统计相关的，但是也有一些特例，如

其结构图如下：

Z和X之间是独立的

链状结构

链状结构，叉状结构，对撞结构是因果图中的基本图结构，其他图结构分析就可以拆分成这三种结构

因果模型表示如下

Z和Y大概率是独立的（考虑上面的举的的一些特殊例子）

Y和X是大概率独立的

Z和X是大概率独立的

给定Y的情况下，Z和X之间是独立的

就是上面的例子，在给定Y的情况下，也就是Y为常数 ,所以就有

所以有结论

Rule1:Condition independence in Chain

叉状结构

看一些因果模型

给分别赋予一些含义，分别表示为海滩上的人数、冰激凌销量和溺水人数

在给定的情况下，和是相互独立的，没有给定的情况下，和是相关的

同理，给定的情况下，即为常数，只和相关，只和相关

Rule2:Condition independence in Forks

看一下更复杂的图，这中情况需要同时condition 在上跟才会独立

如果是串行结构，只需要condition在其中一个变量就行

对撞结构

其因果模型如下

X 和 Z 很大概率是相关的

Y 和 Z 很大概率是相关的

X 和 Y是独立的

在给定Z的情况下，X和Y之间相关

Rule3:Condition dependence in Colliders

讲一个额外的性质

只要condition在Z及Z的任何子孙节点，和都是相关的

D-分隔

之前介绍的，链状结构和叉状结构两端是unblock的，也就是没有阻塞，是相关的。但是condition在中间节点后，就是block的了。

对撞结构跟上边两种结构有些区别

D-Separation可以区分任意两个节点之间的统计相关性，d代表的就是directional,就是方向的意思。

下边有定义表示方法

X and Y d-separated <=> X,Y independent

X and Y d-separated condition Z <⇒X,Y independent | Z

in a fork(chain) X and Y are d-connected

in a collider X and Y are d-separated

模型检验和等价类

乘积分解法则

混淆变量

观测数据和试验数据

干预

do算子

调整公式

机器学习-Boosting

Fri, 11 Apr 2025 00:00:00 GMT

boosting方法在分类中通过改变训练验样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

AdaBoost

AdaBoost的主要思路是提高被前一轮弱分类器错误分类的样本的权值，而降低那些被正确分类样本的权值。弱分类器的组合是加大分类误差率小的弱分类器的全职，使其在表决中起较大作用。减小分类误差率大的弱分类器的权值，使其在表决中起较小作用

这里介绍AdaBoost的前向算法解释

前向分步算法

加法模型

考虑加法模型

其中，为基函数，为基函数的参数，为基函数的系数。

给定训练数据及损失函数的条件下，问题演变成最小化损失函数的问题

前向分布算法的思路是因为学习的是加法模型，每步只学习一个基函数及其系数，逐步的优化目标函数，就可以简化成

AdaBoost是前向分步加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数

由基本分类器及其系数组成

其损失函数为：

假设经过轮的迭代得到

目标是使前向分步算法得到的和使在训练数据集上的指数损失最小，即

上式可以表示为：

其中，。因为 既不依赖 也不依赖于 ，所以与最小化无关。但 依赖于，随着每一轮迭代而发生改变。

现在求解使得上式达到最小的参数和就是AdaBoost算法得到的和。求解分为两步：

首先，求。对任意，使式最小的由下式得到：

其中,

再求。

求导使导数等于0有：

其中是分类误差率：

最后看每一轮的权重更新。有

以及，可得

adaboost算法其他解释及误差界参考

机器学习-Adaboost

提升树模型

提升方法采用加法模型（基函数的线性组合）与前向分步算法。以决策树为基函数的提升方法称为提升树(boosting tree)。对分类问题决策时是二叉分类树，对回归问题决策树是二叉回归树。提升树模型可以表示为决策树的加法模型

其中，表示决策树，为决策树的参数，为树的个数。

提升树算法

提升树算法采用前向分步算法。首先确定初始提升树，第m步的模型是：

其中，为当前模型，通过经验风险最小化确定下一课决策树的参数

不同问题的提升树学习算法，主要区别在于使用的损失函数不同，如平方误差，指数损失等。

已知一个训练数据集，为输入空间，为输出空间。如果将输入空间划分为个互不相交的区域，并且在每个区域上确定输出的常量，那么树可表示为

其中，参数表示树的区域划分和各区域上的常数。是回归树的复杂度即叶结点个数。

回归问题提升树使用以下前向分步算法：

在前向分布算法的第m步，给定当前模型，需求解

得到，即第棵树的参数。

当采用平方误差损失函数时，

其损失变为

是当前模型拟合数据的残差。要使损失最小，需要使得残差越小越好。所以，对回归问题的提升树算法来说，只需要简单地拟合当前模型的残差。

所以其算法流程如下：

输入：训练数据集；输出：提升树。（1）初始化。（2）对。（a）按上式计算残差：

（b）拟合残差学习一个回归树，得到。（c）更新。（3）得到回归问题提升树

梯度提升

提升树利用加法模型与前向分布算法学习的优化过程。当损失函数是平方损失和指数损失时，每一步优化是很简单的。但对一般损失函数而言，优化并不容易，这样就有了梯度提升算法。

是利用梯度最速下降法的近似方法，关键是利用 损失函数的负梯度在当前模型的值

作为回归问题提升树算法中的残差的近似值，拟合一个回归树

算法流程如下：

输入：训练数据集；损失函数；

输出：回归树。（1）初始化

（2）对（a）对，计算

（b）对拟合一个回归树，得到第棵树的叶结点区域。（c）对，计算

（d）更新（3）得到回归树

为什么梯度提升拟合的是负梯度？

从前边的提升树我们知道，当损失函数是平方损失的时候，其实就是使得预测值和残差越接近越好，当是分类问题时，如果是指数损失，其也是拟合的残差(真实标签和概率的差值)，但是如果是其他损失函数呢？从通用性角度出发有

拟合的目标是使得最小

对损失函数一阶泰勒展开有

每一次迭代需要损失不断下降，则有

代入上式可得：

为了使得上式小于0，可以令

因此，梯度提升树的每一颗新的树拟合的目标值就是损失函数的负梯度。

https://zhuanlan.zhihu.com/p/348776985

zhuanlan.zhihu.com

决策树原理总结

Tue, 03 Jun 2025 00:00:00 GMT

决策树是一种基本的分类回归方法。决策树通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。

特征选择不同的算法使用的标准不同，但其有一个共同点，选择的特征应该是能够使得整体的不确定性下降到最大的。

特征选择

信息增益

信息增益用来进行决策树的特征选择，这里先介绍熵与条件熵，在信息论中，熵是用来度量随机变量的不确定性。设X是一个取有限个值的离散随机变量，其概率分布为：

则随机变量X的熵定义为:

如果为0，则定义0log0=0,如果以2为底，则熵的单位称为比特(bit)，如果以e为底，则熵的单位为纳特(nat),将X的熵记作，即：

熵越大，随机变量的不确定性就越大。

当随机变量取值只有两个值时，

p=0或者p=1时，熵为0，随机变量完全没有不确定性。当p=0.5时，熵最大,其不确定性也越大

设有随机变量(X,Y)，其联合概率分布为

条件熵表示在已知随机变量的条件下随机变量的不确定性。随机变量给定的条件下随机变量的条件熵（conditional entropy），定义为给定条件下的条件概率分布的熵对的数学期望:

这里

注意，这个条件熵，是指在给定某个数（某个变量为某个值）的情况下，另一个变量的熵是多少，变量的不确定性是多少？

信息增益表示的是得知特征X的信息而使得类Y的信息的不确定性减少的程度

所以特征A对训练数据集D的信息增益，定义和集合D的经验熵H(D)与特征A给定条件下D的经验条件熵之差，即：

这里举例如何计算信息增益

训练数据集为表示其样本容量，即样本个数。

个类为属于类的样本个数，

设特征有个不同的取值，根据特征的取值将划分为个子集为的样本个数。

记子集中属于类的样本的集合为，即为的样本个数。于是信息增益的算法如下。

以上边西瓜分类的例子，特征有,这里一共17个样本，样本容量，有两个类，是和否，记好瓜为1，坏瓜为2，好瓜的样本数为8个=8，坏瓜的样本数为9个，则

这里以特征“色泽”为例，有三个取值， ,该特征三个取值将数据集划分为3个子集，

1表示青绿，2表示乌黑，3表示浅白

先计算经验熵H(D)

然后计算特征色泽（以表示）的信息增益

计算信息增益

其他特征依次计算，计算出信息增益最大的，也就是给定特征后让其不确定性减少最多的特征作为划分的最优特征

比如上述例子根蒂的信息增益为0.143、敲声的信息增益为0.141，纹理的信息增益为0.381，脐部的信息增益为0.289，触感的信息增益为0.006.

这里显然纹理的信息增益最大，基于纹理作为根节点进行划分

2.信息增益率

信息增益会偏向于选择可取值数量多的特征，增益率能对这个问题进行改进

特征A对训练数据集D的信息增益比定义为其信息增益与训练数据集D关于特征A的值的熵之比，即:

其中， , n是特征A取值的个数。

比如上例中的色泽特征为例

决策树生成

ID3

ID3算法是用信息增益来进行特征选择的

C4.5

C4.5主要是用改进的信息增益率来进行特征选择，信息增益率对取值数目较少的属性有所偏好，因此C4.5并不是直接选择增益率最大的候选划分属性，而是用了一个启发式，先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

CART生成

回归树的生成

回归树Y是连续变量，当输入特征划分确定时，用平方误差来表述对于训练数据的预测误差，用平方误差最小的准则求解每个单元上的最优输出值，特征进行切分找到最优的切分点

分类树的生成

基尼指数

在分类问题中，假设有K个类，样本点属于第k类的概率为，则概率分布的基尼指数定义为

对于二分类问题，若样本点属于第1个类的概率是p，则概率分布的基尼指数为

给定样本集合D，其基尼指数为：

这里是D中属于第类的样本子集，K是类的个数

如果样本集合D根据特征A是否取某一个值a被分割成和两部分，则在特征A的条件下，集合D的基尼指数定义为：

Gini(D) 反应了从数据集D中随机抽取两个样本，其类别标记不一致的概率，因此Gini(D)越小，则数据集D的纯度越高

下图显示了基尼指数，熵之半和分类误差率之间的关系

剪枝

剪枝是决策树学习算法主要是为了抑制“过拟合”，在训练阶段为了尽可能的正确分类训练样本，节点划分过程会不断重复，有时会造成决策树分支过多，有过拟合风险。决策树的剪枝分为预剪枝和后剪枝。

预剪枝：主要思路就是，把这个特征作为根节点不进行划分，预测正确的概率和进行划分后预测正确的概率，如果划分后预测的准确率得到了提高就进行树的生长，不然就禁止该特征进行划分,这里的评估需要划分训练集，把一部分数据集留出用作验证集。如果使用某特征进行划分后，验证集的准确性没有提高，就禁止该特征进行划分。

后剪枝:主要思想就是，先生成一颗完整的树，然后从最底层的非叶子结点开始，该节点分裂后的准确率为a，如果让其不进行分列，准确率为b，如果a>b则不剪枝，a

Cart树的剪枝用的是后剪枝，先生成一棵树，然后使用使用策略剪去一些子树，让树的规模变小，其剪枝算法由两步组成

从生成算法产生的决策树不断剪枝，直到的根节点，形成一个子序列

然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选取最优子树

其子树的剪枝过程中，计算子树的损失函数

是对训练数据预测误差(比如基尼系数)，为子树的叶节点个数，为参数，是参数为时的子树的整体损失，是权衡模型复杂度和数据拟合程度的参数

一般偏大的话，生成的树倾向于偏小，因为树生成带来的增益可能覆盖不了带来的开销

从整体树开始剪枝。对的任意内部节点,以为单节点数的损失函数是

以为根节点的子树的损失函数是

当或者充分小的话有：

当变大时，在某一有

所以只要,有和有相同的损失值，但是t的节点更少，因此比更优,就对进行剪枝。

自上而下的对内部节点计算 , 以及

表示以为根节点的子树，是对训练数据的预测误差，是的叶节点个数。

缺失值处理

缺失值的处理需要处理两个问题

如何在特征值缺失的情况下进行划分特征上选择

给定划分特征，若样本在该特征上的值缺失，如何对样本进行划分

对于第一个问题，将信息增益的计算改为如下式子

表示特征A上没有缺失值的样本子集，表示特征A无缺失样本所占的比例

对于第二个问题

我们需要假设每个样本都有一个权重 ,如果样本在划分特征A上的取值已知，则将划分到与其取值对应的子节点，且样本权重不变

如果样本在划分属性A上的取值位置，则将划分到所有节点，但是其样本权重调整为 , 为属性A的第i个取值的样本子集的大小，相当于让同一个样本以不同的概率划入到不同的子节点中去。

C4.5的缺失值就是使用上述的方法

Cart树缺失值处理，待定

参考：

李航统计学方法

周志华-机器学习

zhuanlan.zhihu.com

机器学习-XGBoost

Wed, 09 Apr 2025 00:00:00 GMT

前边介绍了梯度提升树算法，XGBoost也是加法模型的一种，运用了梯度提升的思想。

XGBoost是由个基模型组成的一个加法模型，假设我们第次迭代要训练的树模型是

,则有

是第次迭代后样本的预测结果，表示前t-1颗树的预测结果，表示第t棵树的预测结果。下边图是一个简单的示例

目标函数

其损失函数为预测值与真实值进行表示：

n为样本量

其目标函数为损失函数+正则项组成

其中正则项

此处，和都是惩罚项， TT为树的叶子节点总数量。该定义可以如此理解：一方面，T值大，说明树的深度比较深，过拟合的概率就会变高，所以使用进行惩罚；另一方面，值大，说明该树在整个模型中会占据较大的比重，即预测结果主要依赖该树，此时过拟合风险也会变高，所以需要再使用进行惩罚。

根据前步加法：

其中，是由第步的模型给出的预测值，是已知常数，是这次需要加入的新模型的预测值。此时，目标函数就可以写成：

正则项因为前t-1棵树已经确定，所以前t-1棵树的正则项就是吃常数

回顾一下泰勒展开,XGBoost主要是用到二阶，如下

所以有

为损失函数的一阶导数，为损失函数的二阶导数。这里也是常数，目标函数可以写成

定义树

定义树我们需要有两个部分

叶子节点的权重向量

样本到叶子节点的映射关系

看下面图

定义 ,也就是实例所属于哪个叶子节点

作为被分到第j个叶子节点下的样本的下标集合, 表示第属于第j类的权重，学习的参数

所以目标函数就可以写成:

为叶子节点的个数

对方程进行求导后，可得参数

再代入方程可得：

为简化表达式，我们定义，含义如下：

: 叶子结点所包含样本的一阶偏导数累加之和，是一个常量；

: 叶子结点所包含样本的二阶偏导数累加之和，是一个常量

上述式子就可写成

树的生成

生成树的一个关键问题是要怎么找到特征的最优切分点，以及特征的选择

XGBoost支持两种算法，一是贪心策略，二是近似优化

贪心

贪心的思路是：针对每个特征，把属于该节点的训练样本根据该特征值进行升序排列，通过线性扫描的方式来决定该特征的最佳分裂点，并记录该特征的分裂收益；

选择收益最大的特征作为分裂特征，用该特征的最佳分裂点作为分裂位置，在该节点上分裂出左右两个新的叶节点，

然后一直递归执行直到满足特定条件为止。

计算每个特征分裂的关键逻辑是用什么去评价最优的切分点，树模型如ID3、C4.5或者CART，都有衡量的方式，分别是信息增益，信息增益率计基尼系数。XGBoost的计算逻辑是分类后左右节点的增益和未分裂的增益。

近似算法

考虑贪心算法的寻找最优分割点的时间复杂度以及所需内存，近似算法给出近似的最优解，其思路主要是对于每个特征只考察每个分位点，这样就可以减少很多计算量。

该算法会首先根据特征分布的分位数提出候选划分点，然后将连续型特征映射到由这些候选点划分的桶中，然后聚合统计信息找到所有区间的最佳分裂点。

上述按分位点进行分桶虽然降低了计算复杂度，但是分桶还可以做的相对更有说服力一些，

就有了 加权分位数缩略图，不是简单的按照样本分位数进行划分，而是以二阶导数作为样本的权重进行划分

我们整理一下目标函数知道：

整理一下公式可以得到：

便可以看出有对 loss 加权的作用,并且加权的式子为每个样本的残差或者说一阶导数的负梯度 ,用二阶梯度划分逻辑我理解为，二阶梯度分位数其权重对残差的影响一致，那最佳分类点就是一阶负梯度方向下降最快的。

防止过拟合策略

Shrinkage方法

核心是增加一个衰减因子

列采样方法

列采样方法类似于随机森林的处理思路，生成树模型的时候通过抽样部分特征来进行实现，在防止过拟合的同时还可以减少训练时间。

缺失值处理

如果弱学习器为gblinear，由于线性模型不支持缺失值，会将缺失值填充为0

如果弱学习器是gbtree或dart，则支持缺失值

训练过程

如果特征出现缺失值，则分别放左右子树，那边增益大则放哪边

预测阶段

如果特征出现缺失值，又分为两种情况

如果该特征在训练过程中出现缺失值则按训练过程缺失值处理的方向就行
如果该特征在训练过程中未出现缺失值，将默认划分到左子树

优缺点

优点

精度更高：GBDT 只用到一阶泰勒展开，而 XGBoost 对损失函数进行了二阶泰勒展开。XGBoost 引入二阶导一方面是为了增加精度，另一方面也是为了能够自定义损失函数，二阶泰勒展开可以近似大量损失函数；

灵活性更强：GBDT 以 CART 作为基分类器，XGBoost 不仅支持 CART 还支持线性分类器，（使用线性分类器的 XGBoost 相当于带 L1 和 L2 正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题））。此外，XGBoost 工具支持自定义损失函数，只需函数支持一阶和二阶求导；

正则化：XGBoost 在目标函数中加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、叶子节点权重的 L2 范式。正则项降低了模型的方差，使学习出来的模型更加简单，有助于防止过拟合；

Shrinkage（缩减）：相当于学习速率。XGBoost 在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间；

列抽样：XGBoost 借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算；

缺失值处理：XGBoost 采用的稀疏感知算法极大的加快了节点分裂的速度；

可以并行化操作：块结构可以很好的支持并行计算。

缺点

虽然利用预排序和近似算法可以降低寻找最佳分裂点的计算量，但在节点分裂过程中仍需要遍历数据集；

预排序过程的空间复杂度过高，不仅需要存储特征值，还需要存储特征对应样本的梯度统计值的索引，相当于消耗了两倍的内存。

zhuanlan.zhihu.com

机器学习白板推导-核方法

Tue, 25 Mar 2025 00:00:00 GMT

一、线性不可分问题

有时线性可分的数据夹杂一点噪声，可以通过改进算法来实现分类，比如感知机的口袋算法和支持向量机的软间隔。但是有时候数据往往完全不是线性可分的，比如下面这种情况(异或问题)：

在异或问题中数据往往不是线性可分的，但通过将数据映射到高维空间后就可以实现线性可分。可以认为高纬空间中的数据比低维空间的数据更易线性可分。对于异或问题，我们可以通过寻找一个映射将低维空间中的数据x映射成高维空间中的z来实现数据的线性可分，例如:

然后在新的空间中，该数据就可以实现线性可分：

二、核方法的引出

映射到高维空间以后出现的问题是计算复杂度的加大，例如在支持向量机的求解过程中求解的优化问题可以转换为如下的优化问题：

将数据映射到高维空间后也就需要求解以下优化问题：

将数据映射到高维空间后也就需要求解以下优化问题:

将数据拓展到高维的方法可以用来解决完全非线性的问题

线性可分	容许一点点错误	严格非线性
PLA	Pocker Alorithm	+PLA
Hard-Margin SVM	Soft-Margin SVM	+Hard-Margin SVM

然而在上边的方法中如果先将与计算出来然后再做点积，由于维度特别高加之得到与也需要计算量，因此计算量是相当大的，因此就有了核方法

通过使用核函数我们可以直接得到与的内积，正定核函数定义如下:

则称K(x,x)是一个正定核函数

其中是Hilbert空间（完备的可能是无限维的被赋予内积的线性空间），如果去掉内积这个条件我们简单地称为核函数。

Hilbert空间定义中的完备指的是对极限是封闭的，被赋予内积代表空间中的元素满足以下性质：

因为支持向量机的求解只用到内积运算，所以使用核函数会大大简化运算量。

三、正定核函数的证明

正定核函数还有另外一个定义

如果核函数满足以下两条性质:

对称性

正定性

则称核函数K(x,z)为正定核函数

这个定义也就是正定核函数的充要条件，其中两条性质分别指的是

首先证明对称性

又内积具有对称性，即

然后证明:

所以k是半正定的

故而得证

说明一下证明矩阵半正定的两种方法