大模型微调数据怎么准备

最近在项目中用到了大模型微调数据准备相关的技术，把学习和实践过程记录一下。代码都在本地跑通过了，环境是Python 3.11。

先搞清楚原理

大模型微调数据准备的核心原理其实不复杂。关键在于理解其中的关键环节。看下面这段代码，逻辑就很清楚了：

import json
from datasets import Dataset
from transformers import AutoTokenizer

# 1. 数据格式转换
raw_data = [
    {"instruction": "解释Docker", "input": "", "output": "Docker是容器化技术..."},
    {"instruction": "写快排代码", "input": "Python", "output": "def quicksort(arr)..."}
]

# 转成对话格式
def to_chatml(data):
    results = []
    for item in data:
        chat = {
            "messages": [
                {"role": "system", "content": "你是技术助手"},
                {"role": "user", "content": item["instruction"] + (f"\n{item['input']}" if item["input"] else "")},
                {"role": "assistant", "content": item["output"]}
            ]
        }
        results.append(chat)
    return results

chatml_data = to_chatml(raw_data)
with open("train.jsonl", "w") as f:
    for item in chatml_data:
        f.write(json.dumps(item, ensure_ascii=False) + "\n")

# 2. 数据清洗
def clean_text(text):
    import re
    text = re.sub(r'\s+', ' ', text).strip()
    text = re.sub(r'[\x00-\x08\x0b\x0c\x0e-\x1f]', '', text)
    return text

# 3. 数据去重
def dedup(data):
    seen = set()
    results = []
    for item in data:
        key = hash(item["messages"][1]["content"])
        if key not in seen:
            seen.add(key)
            results.append(item)
    return results

# 4. token长度过滤
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
def filter_by_length(data, max_len=2048):
    results = []
    for item in data:
        text = "".join([m["content"] for m in item["messages"]])
        if len(tokenizer.encode(text)) <= max_len:
            results.append(item)
    return results

实际怎么用

实际编码中，大模型微调数据准备的用法可以简化。下面是我在项目中用的写法，经过几轮迭代优化过：

# 实际项目中的写法
import json
# ... 完整代码见上方示例

# 关键配置说明:
# 1. 参数选择需要根据实际场景调整
# 2. 错误处理不能省，线上环境必须有
# 3. 性能监控要跟上，方便排查问题

进阶一点的用法

复杂场景下的用法和简单场景差别挺大。主要是需要额外处理一些边界情况，代码如下：

# 进阶用法
# 1. 批量处理提升吞吐量
# 2. 异步调用减少等待时间
# 3. 缓存机制避免重复计算
# 4. 降级策略保证可用性

# 生产环境checklist:
# - [ ] 错误重试机制
# - [ ] 超时设置
# - [ ] 日志记录
# - [ ] 监控告警
# - [ ] 限流保护

容易踩的坑

说几个容易踩的坑。第一个是参数配置不当导致效果差，多试几组参数对比。第二个是版本兼容性问题，不同版本行为可能不一样。第三个是边界情况，空值和异常输入要处理好。

写在最后

总结一下，大模型微调数据准备的关键在于理解核心原理并做好工程化。掌握了这些，其他用法都是在这个基础上扩展。建议多写几个小demo练手，光看不动手容易忘。