AI Agent多轮对话怎么实现

工作中用到了这个技术，把学习和实践过程记录一下。代码都在本地跑通过了，环境是Python 3.11。

先搞清楚原理

AI Agent的基本概念其实不复杂。关键在于理解推理部署这个环节。看下面这段代码，逻辑就很清楚了：

import torch
import torch.nn as nn
from torch.optim import AdamW

model = nn.Sequential(
    nn.Linear(100, 256), nn.ReLU(), nn.Dropout(0.2),
    nn.Linear(256, 128), nn.ReLU(),
    nn.Linear(128, 10),
)

optimizer = AdamW(model.parameters(), lr=2e-05, weight_decay=0.01)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=100)
criterion = nn.CrossEntropyLoss()

for epoch in range(100):
    x = torch.randn(128, 100)
    y = torch.randint(0, 10, (128,))
    optimizer.zero_grad()
    loss = criterion(model(x), y)
    loss.backward()
    torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
    optimizer.step()
    scheduler.step()
    if epoch % 5 == 0:
        print(f"Epoch {epoch}: loss={loss.item():.4f}, lr={scheduler.get_last_lr()[0]:.6f}")

实际怎么用

实际编码中，AI Agent的用法可以简化。下面是我在项目中用的写法，经过几轮迭代优化过：

import torch
import torch.nn as nn

class VAE(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=400, latent_dim=20):
        super().__init__()
        self.encoder = nn.Sequential(nn.Linear(input_dim, hidden_dim), nn.ReLU())
        self.mu_head = nn.Linear(hidden_dim, latent_dim)
        self.logvar_head = nn.Linear(hidden_dim, latent_dim)
        self.decoder = nn.Sequential(nn.Linear(latent_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, input_dim), nn.Sigmoid())

    def reparameterize(self, mu, logvar):
        std = torch.exp(0.5 * logvar)
        eps = torch.randn_like(std)
        return mu + eps * std

    def forward(self, x):
        h = self.encoder(x)
        mu, logvar = self.mu_head(h), self.logvar_head(h)
        z = self.reparameterize(mu, logvar)
        return self.decoder(z), mu, logvar

model = VAE()
x = torch.randn(16, 784)
out, mu, logvar = model(x)
print(f"VAE输出: {out.shape}, mu: {mu.shape}")

进阶一点的用法

进阶一点的话，AI Agent还有注意力权重计算这个方向可以探索。原理不展开，直接看关键代码：

容易踩的坑

用AI Agent的时候有几个常见的错误写法。比如推理部署没有正确处理，或者注意力权重计算的顺序搞反了。下面列出几个典型问题和修复方式。

写在最后

整体来看，AI Agent用起来不算复杂，关键是理解注意力权重计算这个核心机制。建议先跑通基础示例，再逐步加功能。有问题可以看官方文档，社区也比较活跃。