「数据建模工具」数据处理算法讲解之主成分分析

「数据建模工具」数据处理算法讲解之主成分分析主成分分析常用于社会科学 市场调研和使用大型数据集的其他行业数据建模分析中处理数据 用来从大数据集形成较小数量的不相关变量 在一系列数据分析中 通常将主成分分析作为其中的一个步骤 主成分分析的目的是为了使用最少数量的主成分来解释最大量的方差

大家好,欢迎来到IT知识分享网。

主成分分析常用于社会科学、市场调研和使用大型数据集的其他行业数据建模分析中处理数据,用来从大数据集形成较小数量的不相关变量。在一系列数据分析中,通常将主成分分析作为其中的一个步骤。主成分分析的目的是为了使用最少数量的主成分来解释最大量的方差。可以使用主成分分析减少变量数目并避免多重共线性,也可以在相对于观测值数目而言有太多预测变量时使用主成分分析。

►算法思想

主成分分析PCA(Principal Component Analysis)是一种常用的机器学习数据预处理的分析方法,给定原始特征空间,通过线性变换找到更低维度空间的线性映射,常用于高维数据的降维,PCA具备保守方差最大和重构误差最小的优良特性。PCA算法步骤为:

(1)数据0均值化:

将每一列数据减去对应的均值得到0均值矩阵方便下一步的协方差矩阵求解。

「数据建模工具」数据处理算法讲解之主成分分析

(2)计算协方差矩阵:

以矩阵X(0均值化处理)为例:

「数据建模工具」数据处理算法讲解之主成分分析

由于X经过0均值化处理,所以可以求出方差和协方差:

「数据建模工具」数据处理算法讲解之主成分分析

「数据建模工具」数据处理算法讲解之主成分分析

由此可得:

「数据建模工具」数据处理算法讲解之主成分分析

那么,由 可得 协方差矩阵为:

(3)计算协方差矩阵的特征向量:

对协方差矩阵做奇异值分解,找到矩阵 满足 为对角阵,那么 对角值为协方差矩阵的特征值, 为特征值对应的特征向量。对特征值进行降序排列,选取特征值前n(主成分个数)个对应特征向量构建矩阵为成分矩阵。

「数据建模工具」数据处理算法讲解之主成分分析

(4)数据降维

根据成分矩阵 可以将原始数据 进行降维操作:

「数据建模工具」数据处理算法讲解之主成分分析

►数据格式

  • 数值型字段;

►参数说明

「数据建模工具」数据处理算法讲解之主成分分析

参数类型描述选择变量列表框用户指定需要进行主成分分析的属性列,需要指定大于1个的变量作为主成分分析的对象提取方法下拉框按照因子数、累积贡献度的方式进行主成分分析。因子数文本框当提取方法为因子数时,用户直接指定需要分解的因子数。默认为1。累积贡献度文本框当提取方法为累积贡献度时,用户直接指定需要贡献度的大小。默认为90%。►结果说明

「数据建模工具」数据处理算法讲解之主成分分析

属性列“pre_vector”为需要进行主成分分析的原始列集合;

属性列“Pca_Vector”为经过主成分分析后的变换列;

►演示实例

利用Tempo机器学习平台构建如下流程:

「数据建模工具」数据处理算法讲解之主成分分析

【文件输入】节点配置如下:

「数据建模工具」数据处理算法讲解之主成分分析

【主成分分析】节点配置如下:

「数据建模工具」数据处理算法讲解之主成分分析

Tempo机器学习平台流程运行结果如下所示:

「数据建模工具」数据处理算法讲解之主成分分析

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/93050.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信