BERT文本分类从训练到上线

工作中用到了这个技术，把学习和实践过程记录一下。代码都在本地跑通过了，环境是Python 3.11。

先搞清楚原理

要理解BERT，先得搞清楚梯度反向传播这个机制。直接看代码比看文字描述来得快：

import pandas as pd
import numpy as np

np.random.seed(4)
df = pd.DataFrame({
    "feature_1": np.random.randn(1000),
    "feature_2": np.random.randn(1000) * 2 + 1,
    "category": np.random.choice(["A", "B", "C"], 1000),
    "value": np.random.exponential(1.0, 1000),
})

print(f"数据形状: {df.shape}")
print(f"缺失值:\n{df.isnull().sum()}")
print(f"\n描述统计:\n{df.describe()}")

grouped = df.groupby("category")["value"].agg(["mean", "std", "count"])
print(f"\n分组统计:\n{grouped}")

实际怎么用

实际编码中，BERT的用法可以简化。下面是我在项目中用的写法，经过几轮迭代优化过：

import torch
import torch.nn as nn

class LoRALayer(nn.Module):
    def __init__(self, original_layer, rank=8, alpha=16):
        super().__init__()
        self.original = original_layer
        self.rank = rank
        self.alpha = alpha
        d_in, d_out = original_layer.in_features, original_layer.out_features
        self.lora_A = nn.Parameter(torch.randn(d_in, rank) * 0.01)
        self.lora_B = nn.Parameter(torch.zeros(rank, d_out))

    def forward(self, x):
        original_out = self.original(x)
        lora_out = (x @ self.lora_A @ self.lora_B) * (self.alpha / self.rank)
        return original_out + lora_out

linear = nn.Linear(512, 256)
lora = LoRALayer(linear, rank=7)
x = torch.randn(2, 512)
print(f"LoRA输出: {lora(x).shape}")

进阶一点的用法

进阶一点的话，BERT还有梯度反向传播这个方向可以探索。原理不展开，直接看关键代码：

容易踩的坑

踩坑经验分享：BERT在梯度反向传播方面有几个暗坑。最常见的是参数默认值不符合预期，其次是并发场景下的竞态条件。建议加上防御性检查。

写在最后

BERT这块先整理到这里。特征工程是最重要的部分，务必理解透彻。如果遇到问题，先检查配置和版本，大部分报错都是这两个原因。