模型评估别只看准确率

之前一直用老方案，最近换了新方法确实方便不少。对比一下两种做法，给还在犹豫的朋友一个参考。

先搞清楚原理

先说基本原理。模型评估的核心思路是梯度反向传播。简单来说就是：把输入经过一系列变换，最终得到想要的结果。这个过程可以用下面的代码来理解：

import torch
import torch.nn as nn

class TransformerBlock(nn.Module):
    def __init__(self, d_model=512, n_heads=8, dropout=0.1):
        super().__init__()
        self.attention = nn.MultiheadAttention(d_model, n_heads, dropout=dropout)
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)
        self.ffn = nn.Sequential(
            nn.Linear(d_model, d_model * 4),
            nn.GELU(),
            nn.Dropout(dropout),
            nn.Linear(d_model * 4, d_model),
        )

    def forward(self, x):
        attn_out, _ = self.attention(x, x, x)
        x = self.norm1(x + attn_out)
        ffn_out = self.ffn(x)
        x = self.norm2(x + ffn_out)
        return x

block = TransformerBlock()
x = torch.randn(2, 10, 512)
print(f"输出: {block(x).shape}")

实际怎么用

实际用的时候有几个注意点。首先是配置问题，不同环境参数可能不一样。其次是性能，数据量大的时候要注意特征工程。看这段实际运行的代码：

import mlflow
import numpy as np
from sklearn.linear_model import LogisticRegression

mlflow.set_experiment("experiment_26")

with mlflow.start_run():
    X = np.random.randn(500, 10)
    y = (X[:, 0] > 0).astype(int)
    params = {"C": 0.1, "max_iter": 200, "solver": "lbfgs"}
    mlflow.log_params(params)
    model = LogisticRegression(**params)
    model.fit(X, y)
    accuracy = model.score(X, y)
    mlflow.log_metric("accuracy", accuracy)
    mlflow.sklearn.log_model(model, "model")
    print(f"准确率: {accuracy:.4f}")

进阶一点的用法

有些场景下模型评估的常规写法不够用，需要做特征工程。这个改动涉及的地方不多，但要注意顺序：

容易踩的坑

总结几个实际项目中的教训：模型评估在特征工程上容易出问题。建议写单元测试覆盖这些边界情况，免得线上出故障才后悔。

写在最后

模型评估的要点就这些。核心是特征工程，其他都是围绕这个展开的。代码已经贴在前面了，照着跑一遍基本就能上手。后续有新的发现再更新。