自动数据降维:用Titanic数据集验证

自动数据降维:用Titanic数据集验证00 背景特征选择是机器学习建模流程中最重要的步骤之一 经常有以下的情况 假设特征目前有 10 个 准确率为 80 假设只取 9 个特征 反而准确率却变为 90 特征选择的好坏直接决定着模型效果的上限 好的特征组合甚至比模型算法更重要

大家好,欢迎来到IT知识分享网。

00、背景

特征选择是机器学习建模流程中最重要的步骤之一,经常有以下的情况:

假设特征目前有10个,准确率为80%,假设只取9个特征,反而准确率却变为90%。

特征选择的好坏直接决定着模型效果的上限,好的特征组合甚至比模型算法更重要。除了模型效果外,特征选择还有以下几点好处:

  • 提高模型性能并降低复杂性(维数爆炸)
  • 减少训练时间
  • 由于无信息和冗余特征而降低了过度拟合的风险
  • 简化的部署流程和实时数据管道,这是一个经常被低估的优势

找到了一个可完全自动化的特征选择工具:AutoFeatSelect,使用它可以让繁琐的筛选过程变得非常轻松。

之前曾经写过另一篇,同样目的,但实现效果不同:数据降维技术:主成分分析PCA

文尾有2者的对比。

01、AutoFeatSelect介绍

AutoFeatSelect 是一个 Python 库,可自动化并加速机器学习项目的特征选择过程。

它有助于使用多种方法计算特征重要性分数和排名,还有助于检测和删除高度相关的变量。

GitHub连接:https://github.com/dorukcanga/AutoFeatSelect

安装

pip install autofeatselect -i https://pypi.tuna.tsinghua.edu.cn/simple

主要功能

AutoFeatSelect可以自动执行各种特征筛选步骤,比如计算相关性、消除高度相关的特征以及应用多种特征选择方法,并生成对应的筛选结果。该库自动化并简化了以下特征选择方法的实现:

  • 自动特征选择:各种自动特征选择方法,如LightGBM、XGBoost、Random Forest 等。
  • 特征重要性分析:分别计算和可视化不同算法的特征重要性分数。
  • 相关性分析:执行相关性分析以自动识别并删除相关特征。

下面我们直接通过一个实战案例来说明如何使用AutoFeatSelect

02、从0到1整理泰坦尼克号数据集

1、准备数据

Titanic数据是一份经典数据挖掘的数据集。

下面是字段的具体含义:

PassengerId:用户id

survival:是否生还,0-否,1-是

pclass:舱位,1-头等舱,2-二等,3-三等

name:姓名

sex:性别

Age:年龄

sibsp:在船上的兄弟/配偶数

parch:在船上父母/孩子数

ticket:票号

fare:票价

cabin:Cabin number;客舱号

embarked:登船地点

2、导入包

import re import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from autofeatselect import CorrelationCalculator, FeatureSelector, AutoFeatureSelect

3、准备数据集

train = pd.read_csv('./train.csv') pred = pd.read_csv('./test.csv') # 加载训练和评估集。 train.head()
自动数据降维:用Titanic数据集验证

# 显示信息 print(train.info()) print(pred.info())
自动数据降维:用Titanic数据集验证

# 提取名字变量中的标题(先生、女士等) def get_title(passenger): if re.search('Mr', passenger): return 'Mr' elif re.search('Mrs', passenger): return 'Mrs' elif re.search('Miss', passenger): return 'Miss' elif re.search('Master', passenger): return 'Master' else: return 'Other' train['Title'] = train['Name'].apply(get_title) pred['Title'] = pred['Name'].apply(get_title)
# 删除不必要的变量。 train.drop(['PassengerId', 'Name', 'Ticket'], axis=1, inplace=True) pred.drop(['Name', 'Ticket'], axis=1, inplace=True)
# 保存训练集和评估集。 train.to_csv('titanic_train.csv', index=False) pred.to_csv('titanic_test.csv', index=False)

4、数据探索

target = 'Survived' # 训练集 vars_num = [var for var in train.columns if train[var].dtype != object and var != target] vars_cat = [var for var in train.columns if train[var].dtype == object]
自动数据降维:用Titanic数据集验证

# 评估集 pred_vars_num = [var for var in pred.columns if pred[var].dtype != object and var != target] pred_vars_cat = [var for var in pred.columns if pred[var].dtype == object]
自动数据降维:用Titanic数据集验证

5、找到变量中的缺失值

# train set # first in numerical variables print('Train set: Missing values in numerical vars') print(train[vars_num].isnull().mean()) vars_num_nan = [var for var in vars_num if train[var].isna().sum() > 0] print(vars_num_nan) # then in categorical variables print('Train set: Missing values in categorical vars') print(train[vars_cat].isnull().mean()) vars_cat_nan = [var for var in vars_cat if train[var].isna().sum() > 0] print(vars_cat_nan)
自动数据降维:用Titanic数据集验证

# evaluation set # first in numerical variables print('Evaluation set: Missing values in numerical vars') print(pred[pred_vars_num].isnull().mean()) pred_vars_num_nan = [var for var in pred_vars_num if pred[var].isna().sum() > 0] print(pred_vars_num_nan) # then in categorical variables print('Evaluation set: Missing values in categorical vars') print(pred[pred_vars_cat].isnull().mean()) pred_vars_cat_nan = [var for var in pred_vars_cat if pred[var].isna().sum() > 0] print(pred_vars_cat_nan)
自动数据降维:用Titanic数据集验证

6、确定分类变量的主导类别

# train set print(train[vars_cat].nunique())
自动数据降维:用Titanic数据集验证

7、确定数值变量的分布

train[vars_num].hist(bins=30, figsize=(10, 10)) plt.show()
自动数据降维:用Titanic数据集验证

# 评估集 pred[pred_vars_num].hist(bins=30, figsize=(10, 10)) plt.show()
自动数据降维:用Titanic数据集验证

8、将数据分为训练集和测试集

 将数据(训练数据)分为训练集和测试集(评估集没有标签,用于实际预测的真实数据)。 X_train, X_test, y_train, y_test = train_test_split( train.drop('Survived', axis=1), train['Survived'], test_size=0.2, random_state=0) X_pred = pred.copy() 

9、特征工程

# 提取变量 Cabin 中的字母(并删除数字) # 训练和测试集 X_train['Cabin'] = X_train['Cabin'].str[0] # 获取首字母 X_test['Cabin'] = X_test['Cabin'].str[0] # 获取首字母 # 评估集 X_pred['Cabin'] = X_pred['Cabin'].str[0] # 获取首字母 X_train['Cabin'].unique()
自动数据降维:用Titanic数据集验证

# 填写数字变量中的缺失数据: # train, test, pred for var in ['Age', 'Fare']: # 添加缺失的指标 X_train[var+'_NA'] = np.where(X_train[var].isnull(), 1, 0) X_test[var+'_NA'] = np.where(X_test[var].isnull(), 1, 0) X_pred[var+'_NA'] = np.where(X_pred[var].isnull(), 1, 0) # 将NaN替换为中位数。 median_val = X_train[var].median() X_train[var].fillna(median_val, inplace=True) X_test[var].fillna(median_val, inplace=True) X_pred[var].fillna(median_val, inplace=True)
# 替换分类变量中缺失的数据为字符串“Missing”。 for var in vars_cat_nan: X_train[var] = X_train[var].fillna('Missing') X_test[var] = X_test[var].fillna('Missing') for var in pred_vars_cat_nan: X_pred[var] = X_pred[var].fillna('Missing')
自动数据降维:用Titanic数据集验证

至此完成了数据的整理,可以看到清洗整理数据是异常耗时的

03、用AutoFeatSelect选择最重要特征

1、半自动方法

检测高度相关的数字和分类特征并删除

# 检测相关数值特征 print(vars_num) num_static_vars = ['Pclass'] corr_vars_num, num_remove_list = CorrelationCalculator.numeric_correlations(X_train, features=vars_num, static_features=num_static_vars, threshold=0.9) print(corr_vars_num) print(num_remove_list)
自动数据降维:用Titanic数据集验证

# 检测相关分类特征 print(vars_cat) cat_static_vars = ['Sex', 'Title','Cabin'] corr_vars_cat, cat_remove_list = CorrelationCalculator.categorical_correlations(X_train, features=vars_cat, static_features=cat_static_vars, threshold=0.9) print(corr_vars_cat) print(cat_remove_list)
自动数据降维:用Titanic数据集验证

# 移除相关特征 num_feats = [v for v in vars_num if v not in num_remove_list] cat_feats = [v for v in vars_cat if v not in cat_remove_list]
自动数据降维:用Titanic数据集验证

通过计算重要性得分选择应用特征,采用LightGBM

# 创建特征选择器对象 feat_selector = FeatureSelector(modeling_type='classification', X_train=X_train, y_train=y_train, X_test=X_test, y_test=y_test, numeric_columns=num_feats, categorical_columns=cat_feats, seed=24) # 超参数和目标函数LightGBM的值是可以改变的 lgbm_importance_df = feat_selector.lgbm_importance(hyperparam_dict=None, objective=None, return_plot=True)
自动数据降维:用Titanic数据集验证

# 递归特征消除 rfecv_importance_df = feat_selector.rfecv_importance(lgbm_hyperparams=None, rfecv_hyperparams=None, return_plot=False) print(rfecv_importance_df)
自动数据降维:用Titanic数据集验证

2、全自动方法

# 创建AutoFeatureSelect类 feat_selector = AutoFeatureSelect(modeling_type='classification', X_train=X_train, y_train=y_train, X_test=X_test, y_test=y_test, numeric_columns=vars_num, categorical_columns=vars_cat, seed=24) # 检测相关特征 corr_features = feat_selector.calculate_correlated_features(static_features=None, num_threshold=0.9, cat_threshold=0.9) # 删除相关特征 feat_selector.drop_correlated_features() # 确定要应用的选择方法 # 选项: 'lgbm', 'xgb', 'rf','perimp', 'rfecv', 'boruta', 'lassocv' # 所有方法的超参数都可以更改 selection_methods = ['lgbm', 'xgb', 'rf','perimp'] final_importance_df = feat_selector.apply_feature_selection(selection_methods=selection_methods, lgbm_hyperparams=None, xgb_hyperparams=None, rf_hyperparams=None, lassocv_hyperparams=None, perimp_hyperparams=None, rfecv_hyperparams=None, boruta_hyperparams=None) # 打印结果 final_importance_df.head()
自动数据降维:用Titanic数据集验证

04、结论

AutoFeatSelect如名字一样,初衷就是为了简化并高效完成特征选择的过程。

可以看到,只需几行代码就可以应用多种特征选择方法,然后会得到所有特征选择方法对所有特征的计算结果。

基于这个结果,我们就可以通过自己的阈值标准对特征进行子集的组合条件筛选,得到最终的筛选特征了。

05、回答一个疑问

Q:特征选择和PCA降维有啥不同?

A:选择属性和PCA的目的都是一样,都是为了降低特征的数量,减少计算量。

但PCA是将原始特征进行一个映射压缩,这使得原始的特征面目全非,生成新的特征。

也就是说原本20个特征,PCA以后用全新的5个特征(这5个特征我已经不知道是代表原来的啥了)来表示。

但有时这5个特征并不能完全代替这原本的20个特征,而是容纳了98%的信息,这也是能接收的范围。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/97154.html

(0)

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信