ONNX模型导出与跨框架部署

工作中用到了这个技术，把学习和实践过程记录一下。代码都在本地跑通过了，环境是Python 3.11。

先搞清楚原理

要理解ONNX，先得搞清楚数据驱动的模式学习这个机制。直接看代码比看文字描述来得快：

import numpy as np
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

X = np.random.randn(500, 20)
y = (X[:, 0] + X[:, 1] > 0).astype(int)

pipe = Pipeline([
    ("scaler", StandardScaler()),
    ("clf", RandomForestClassifier(n_estimators=100, random_state=15)),
])

scores = cross_val_score(pipe, X, y, cv=3, scoring="accuracy")
print(f"3折交叉验证: {scores.mean():.4f} (+/- {scores.std():.4f})")

pipe.fit(X, y)
print(f"训练集准确率: {pipe.score(X, y):.4f}")

实际怎么用

写代码的时候，ONNX有几个常见写法。推荐用下面这种方式，代码更清晰，也更容易维护：

import torch
from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter("runs/exp_22")
model = torch.nn.Linear(10, 2)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

for step in range(500):
    x = torch.randn(32, 10)
    y = torch.randint(0, 2, (32,))
    loss = torch.nn.functional.cross_entropy(model(x), y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if step % 50 == 0:
        writer.add_scalar("Loss/train", loss.item(), step)

writer.close()
print("训练日志已写入TensorBoard")

进阶一点的用法

ONNX在复杂场景下的用法和简单场景差别挺大。主要是数据驱动的模式学习这块需要额外处理，代码如下：

容易踩的坑

踩坑经验分享：ONNX在数据驱动的模式学习方面有几个暗坑。最常见的是参数默认值不符合预期，其次是并发场景下的竞态条件。建议加上防御性检查。

写在最后

ONNX这块先整理到这里。超参数调优是最重要的部分，务必理解透彻。如果遇到问题，先检查配置和版本，大部分报错都是这两个原因。