Python机器学习特征工程

在Python中进行机器学习的特征工程通常涉及以下步骤：

1. 数据清洗：处理缺失值、异常值、重复记录等。

2. 特征选择：选择对模型预测最有用的特征。

3. 特征转换：将原始数据转换为更适合模型的形式。

4. 特征构造：创建新的特征，以提高模型的性能。

5. 特征缩放：调整特征的尺度，使其对模型更加友好。

下面是一些常用的Python库和它们的功能，这些库可以帮助你进行特征工程：

• Pandas：用于数据清洗和处理，提供了大量的数据处理功能。
• NumPy：用于数值计算，可以用来处理数组和矩阵。
• Scikit-learn：提供了大量的机器学习算法以及特征工程的工具，如特征选择、特征转换等。
• Matplotlib 和 Seaborn：用于数据可视化，帮助理解数据的分布和特征之间的关系。

下面是一些具体的特征工程的例子：

数据清洗

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 处理缺失值
df.fillna(df.mean(), inplace=True)  # 用均值填充数值型特征的缺失值

# 处理异常值
q_low = df.quantile(0.01)
q_hi  = df.quantile(0.99)
df_filtered = df[(df < q_low).sum(axis=1) < 0.01 * df.shape[1]]  # 删除异常值比例过高的行

# 删除重复记录
df.drop_duplicates(inplace=True)

特征选择

from sklearn.feature_selection import SelectKBest, f_classif

# 假设我们有一个分类问题
X = df.drop('target', axis=1)
y = df['target']

# 使用SelectKBest进行特征选择
selector = SelectKBest(f_classif, k=10)  # 选择最好的10个特征
X_new = selector.fit_transform(X, y)

特征转换

from sklearn.preprocessing import StandardScaler, OneHotEncoder

# 标准化数值型特征
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 对类别型特征进行独热编码
encoder = OneHotEncoder(sparse=False)
X_encoded = encoder.fit_transform(X[['categorical_feature']])

特征构造

# 创建新的特征，例如，将日期转换为年、月、日
df['date'] = pd.to_datetime(df['date'])
df['year'] = df['date'].dt.year
df['month'] = df['date'].dt.month
df['day'] = df['date'].dt.day

# 删除原始的日期列
df.drop('date', axis=1, inplace=True)

特征缩放

from sklearn.preprocessing import MinMaxScaler

# 使用MinMaxScaler进行特征缩放
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)

特征工程是一个迭代的过程，需要根据模型的性能和数据的特点不断地进行调整和优化。