特征选择怎么做才对

工作中用到了这个技术，把学习和实践过程记录一下。代码都在本地跑通过了，环境是Python 3.11。

先搞清楚原理

特征选择的底层原理涉及数据清洗。用代码演示比画图更直观：

import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

fig, axes = plt.subplots(1, 2, figsize=(12, 5))

x = np.linspace(0, 10, 100)
axes[0].plot(x, np.sin(x + 10 * 0.1), label='sin(x)')
axes[0].plot(x, np.cos(x + 10 * 0.1), label='cos(x)')
axes[0].set_title('三角函数')
axes[0].legend()

categories = ['A', 'B', 'C', 'D']
values = [33, 55, 66, 88]
axes[1].bar(categories, values, color=['#3b82f6', '#10b981', '#f59e0b', '#ef4444'])
axes[1].set_title('分类数据')

plt.tight_layout()
plt.savefig('analysis_10.png', dpi=150)
print('图表已保存')

实际怎么用

实际用的时候有几个注意点。首先是配置问题，不同环境参数可能不一样。其次是性能，数据量大的时候要注意数据清洗。看这段实际运行的代码：

from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error, r2_score
import numpy as np

X = np.random.randn(1000, 20)
y = X[:, 0] * 2 + X[:, 1] * 0.5 + np.random.randn(1000) * 0.1

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=17)

model = GradientBoostingRegressor(n_estimators=100, random_state=17)
model.fit(X_train, y_train)

y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_test, y_pred))
r2 = r2_score(y_test, y_pred)
print(f'RMSE: {rmse:.4f}, R2: {r2:.4f}')

if hasattr(model, 'feature_importances_'):
    top5 = np.argsort(model.feature_importances_)[-5:][::-1]
    print(f'Top5特征: {top5}')

进阶一点的用法

有些场景下特征选择的常规写法不够用，需要做数据清洗。这个改动涉及的地方不多，但要注意顺序：

容易踩的坑

说几个容易踩的坑。第一个是数据清洗的问题，很多人在这上面栽过跟头。第二个是版本兼容性，不同版本行为可能不一样。第三个是边界情况，空值和异常输入要处理好。

写在最后

总结一下，特征选择的关键在于向量化计算。掌握了这个，其他用法都是在这个基础上扩展。建议多写几个小demo练手，光看不动手容易忘。