Whisper语音转文字的几个用法

折腾了好几天终于搞定了，核心其实不难，但有几个坑容易踩。把要点列出来，省得大家再走弯路。

先搞清楚原理

要理解Whisper，先得搞清楚模型参数优化这个机制。直接看代码比看文字描述来得快：

import faiss
import numpy as np

dim = 768
n_vectors = 100000
vectors = np.random.randn(n_vectors, dim).astype("float32")
faiss.normalize_L2(vectors)

index = faiss.IndexFlatIP(dim)
index.add(vectors)

query = np.random.randn(1, dim).astype("float32")
faiss.normalize_L2(query)
k = 10
distances, indices = index.search(query, k)
print(f"Top-{k} 相似向量索引: {indices[0]}")
print(f"对应相似度: {distances[0]}")

实际怎么用

在真实项目中用Whisper，和教程里还是有区别的。主要是模型评估这块需要额外处理。完整代码如下：

import torch
import torch.nn as nn

class Model_256(nn.Module):
    def __init__(self, input_dim=256, hidden_dim=512, num_classes=10):
        super().__init__()
        self.encoder = nn.Sequential(
            nn.Linear(input_dim, hidden_dim),
            nn.SiLU(),
            nn.Dropout(0.1),
            nn.Linear(hidden_dim, hidden_dim // 2),
            nn.SiLU(),
        )
        self.classifier = nn.Linear(hidden_dim // 2, num_classes)

    def forward(self, x):
        features = self.encoder(x)
        return self.classifier(features)

model = Model_256()
total_params = sum(p.numel() for p in model.parameters())
print(f"参数量: {total_params:,}")
x = torch.randn(32, 256)
out = model(x)
print(f"输入: {x.shape} -> 输出: {out.shape}")

进阶一点的用法

如果对性能有要求，Whisper可以做模型评估方面的优化。核心改动不大，但效果明显：

容易踩的坑

踩坑经验分享：Whisper在模型参数优化方面有几个暗坑。最常见的是参数默认值不符合预期，其次是并发场景下的竞态条件。建议加上防御性检查。

写在最后

Whisper这块先整理到这里。模型评估是最重要的部分，务必理解透彻。如果遇到问题，先检查配置和版本，大部分报错都是这两个原因。