联邦学习怎么保护数据隐私

这个话题之前一直想整理，今天终于抽出时间来写。本文尽量用实际代码说话，避免空谈概念。

先搞清楚原理

要理解联邦学习，先得搞清楚特征提取与表示这个机制。直接看代码比看文字描述来得快：

from transformers import pipeline, AutoTokenizer

task = ["sentiment-analysis", "text-classification", "zero-shot-classification"][1]
model_name = "bert-base-chinese"

tokenizer = AutoTokenizer.from_pretrained(model_name)
print(f"词表大小: {tokenizer.vocab_size}")

nlp = pipeline(task, model=model_name)

texts = [
    "这个产品非常好用，值得推荐",
    "服务态度很差，不推荐",
    "质量一般，性价比不高",
]

results = nlp(texts[:3])
for text, result in zip(texts, results):
    print(f"{text[:20]}... -> {result}")

实际怎么用

实际用的时候有几个注意点。首先是配置问题，不同环境参数可能不一样。其次是性能，数据量大的时候要注意数据预处理。看这段实际运行的代码：

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI()

async def process_batch(prompts, concurrency=5):
    semaphore = asyncio.Semaphore(concurrency)
    async def call_api(prompt):
        async with semaphore:
            resp = await client.chat.completions.create(
                model="gpt-4", messages=[{"role": "user", "content": prompt}], max_tokens=200,
            )
            return resp.choices[0].message.content
    tasks = [call_api(p) for p in prompts]
    return await asyncio.gather(*tasks)

prompts = [f"用一句话解释第{j}个概念" for j in range(20)]
results = asyncio.run(process_batch(prompts))
for j, r in enumerate(results):
    print(f"[{j}] {r[:60]}")

进阶一点的用法

有些场景下联邦学习的常规写法不够用，需要做数据预处理。这个改动涉及的地方不多，但要注意顺序：

容易踩的坑

踩坑经验分享：联邦学习在特征提取与表示方面有几个暗坑。最常见的是参数默认值不符合预期，其次是并发场景下的竞态条件。建议加上防御性检查。

写在最后

联邦学习这块先整理到这里。数据预处理是最重要的部分，务必理解透彻。如果遇到问题，先检查配置和版本，大部分报错都是这两个原因。