用Polars替代Pandas提速

最近在做项目的时候遇到这个问题，查了不少资料总算搞明白了。把过程记下来，方便以后查阅，也希望能帮到有同样需求的朋友。

先搞清楚原理

Polars的基本概念其实不复杂。关键在于理解特征选择这个环节。看下面这段代码，逻辑就很清楚了：

from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error, r2_score
import numpy as np

X = np.random.randn(1000, 20)
y = X[:, 0] * 2 + X[:, 1] * 0.5 + np.random.randn(1000) * 0.1

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)

model = GradientBoostingRegressor(n_estimators=100, random_state=1)
model.fit(X_train, y_train)

y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_test, y_pred))
r2 = r2_score(y_test, y_pred)
print(f'RMSE: {rmse:.4f}, R2: {r2:.4f}')

if hasattr(model, 'feature_importances_'):
    top5 = np.argsort(model.feature_importances_)[-5:][::-1]
    print(f'Top5特征: {top5}')

实际怎么用

实际编码中，Polars的用法可以简化。下面是我在项目中用的写法，经过几轮迭代优化过：

import pandas as pd
import numpy as np

np.random.seed(8)
df = pd.DataFrame({
    'feature_1': np.random.randn(1000),
    'feature_2': np.random.randn(1000) * 2 + 1,
    'category': np.random.choice(['A', 'B', 'C'], 1000),
    'value': np.random.exponential(1.0, 1000),
})

print(f'数据形状: {df.shape}')
print(f'缺失值:\n{df.isnull().sum()}')

numeric_cols = df.select_dtypes(include=[np.number]).columns
df[numeric_cols] = df[numeric_cols].fillna(df[numeric_cols].median())

summary = df.groupby('category')['value'].agg(['mean', 'std', 'count']).round(2)
print(f'分组统计:\n{summary}')

进阶一点的用法

进阶一点的话，Polars还有特征变换与编码这个方向可以探索。原理不展开，直接看关键代码：

容易踩的坑

用Polars的时候有几个常见的错误写法。比如特征选择没有正确处理，或者特征变换与编码的顺序搞反了。下面列出几个典型问题和修复方式。

写在最后

整体来看，Polars用起来不算复杂，关键是理解特征变换与编码这个核心机制。建议先跑通基础示例，再逐步加功能。有问题可以看官方文档，社区也比较活跃。