mid-training：构建预训练与后训练之间的分布式桥梁

【速读摘要】：本文系统研究了语言模型训练中"中训练"（Midtraining）阶段的作用——即在预训练和后训练之间插入一个混合专业数据的中间阶段。研究发现：1）Midtraining对代码、数学等与通用预训练数据差异较大的领域效果最显著；2）Midtraining能有效减少后训练阶段的灾难性遗忘；3）专业数据引入的时机和混合比例存在强交互作用——早期引入支持高混合比例，晚期引入则需保守混合；4）在减少遗忘方面，Midtraining始终优于纯持续预训练。

【论文链接】：arXiv:2510.14865 (ICML 2026)
【机构信息】：Carnegie Mellon University - Language Technologies Institute
【开源链接】：https://anonymous.4open.science/r/midtraining-E5D8/
【关键词】：midtraining, pretraining, finetuning, domain adaptation, catastrophic forgetting, distributional bridging, curriculum learning

1. 背景与核心洞察 (The Core Insight)

当前大语言模型的训练流程通常包含多个阶段：大规模通用数据预训练 → 后训练（监督微调/指令微调）→ 强化学习对齐。然而，业界广泛采用了一种介于预训练和后训练之间的**中间训练（Midtraining）**策略：在预训练中后期引入专业化数据（代码、数学、指令格式化数据等），与通用数据混合训练数B tokens，再进行后训练。该策略被LLaMA 3、Olmo、MiniCPM、Chameleon等模型采用，但一直缺乏系统性的机制研究。

本文的核心洞察是：Midtraining的本质是"分布式桥接"（Distributional Bridging）——它不是简单地让模型"记住"目标领域的数据，而是通过在预训练和后训练之间插入一个过渡分布，降低两个阶段之间的梯度冲突，使模型能够以更平滑的优化路径从通用分布迁移到专业分布。

作者从优化几何的角度给出了直观解释：如图1所示，预训练阶段的梯度场与后训练目标存在冲突区域，标准的预训练→SFT路径（红色）会穿过高冲突区域；而加入Midtraining后（白色路径），模型参数被引导到更靠近目标分布的区域，从而在后续后训练中能更高效地适应目标，同时减少对预训练知识的遗忘。

iShot_2026-02-25_12.29.23

2. 技术方案深度拆解 (The “How”)

2.1 训练流程定义

作者将语言模型训练定义为一系列阶段的序列 $S = \{D_i, J_i\}_{i=0}^N$ ，其中：

预训练（Pretraining）：使用大规模通用语料 $D_{\text{pre}}$ （如C4），目标是最小化 $J_{\text{pre}}(\theta) = -\sum_{t=1}^{|x|} \log p_\theta(x_t | x_{<t})$
中间训练（Midtraining）：插入于预训练和后训练之间，数据为通用数据与专业数据的混合 $D_{\text{mid}}$ ，满足 $|D_{\text{pre}}| > |D_{\text{mid}}| > |D_{\text{target}}|$
后训练（Posttraining/SFT）：在目标数据集 $D_{\text{target}}$ 上进行监督微调

2.2 理论分析框架

作者提供了简化的理论分析来说明Midtraining如何同时改善目标域性能和减少遗忘。关键公式推导如下：

对于单步梯度下降，设 $\theta_{k+1} = \theta_k - \eta \nabla J_T(\theta_k)$ ，利用 $L_P$ -平滑性假设：

$J_P(\theta_{k+1}) \le J_P(\theta_k) - \eta \langle \nabla J_P(\theta_k), \nabla J_T(\theta_k) \rangle + \frac{L_P \eta^2}{2} \|\nabla J_T(\theta_k)\|^2$

累积 $K$ 步后的遗忘量：

$\Delta_P(K) = J_P(\theta_K) - J_P(\theta_0) \le -\eta \sum_{k=0}^{K-1} \langle \nabla J_P(\theta_k), \nabla J_T(\theta_k) \rangle + \frac{L_P \eta^2}{2} \sum_{k=0}^{K-1} \|\nabla J_T(\theta_k)\|^2$

关键结论：遗忘量由两部分组成：

梯度冲突项 $-\eta \sum \langle \nabla J_P, \nabla J_T \rangle$ ：当预训练和后训练梯度方向一致时为负（有助于减少遗忘），冲突时为正
梯度幅度项 $+\frac{L_P \eta^2}{2} \sum \|\nabla J_T\|^2$ ：总是非负，对遗忘有正向贡献

Midtraining的作用是改变初始化 $\theta_0$ ，使后训练的梯度 $\nabla J_T$ 与预训练梯度 $\nabla J_P$ 更加对齐，同时降低梯度幅度。

2.3 关键实验变量

参数	设置
模型规模	70M, 160M, 410M, 1B (Pythia架构)
预训练数据	C4 (128B tokens, ~61k steps)
Midtraining数据	Starcoder(代码)、Math(数学)、FLAN(指令)、KnowledgeQA(知识QA)、DCLM(高质量网页)
后训练数据	GSM8k(数学)、Pycode(代码)、SciQ(科学QA)、LIMA(指令)
Midtraining插入点	6k/20k/40k steps (视数据可用性)
混合比例	5%-20%专业数据 + C4

2.4 分布式接近度（Proximity Advantage）

为量化Midtraining数据的有效性，作者定义了接近度优势：

$\mathrm{PA}(M \to T) = \mathrm{prox}(M, T) - \mathrm{prox}(\mathrm{C4}, T)$

其中 $\mathrm{prox}(A, B)$ 是基于模型tokenizer计算的unigram token统计的token级接近度。正值表示Midtraining混合数据 $M$ 比纯C4更接近目标分布 $T$ 。

3. 验证与实验分析 (Evidence & Analysis)

3.1 核心发现一：领域特异性效益

实验结论：Midtraining的利益高度依赖于目标领域与预训练数据的差异程度。

模型规模	代码任务 (Pycode)	数学任务 (GSM8K)
70M	Starcoder混合: 2.504 vs 基线 2.656 (↓5.7%)	Math混合: 1.339 vs 基线 1.384 (↓3.3%)
160M	Starcoder混合: 2.134 vs 基线 2.314 (↓7.8%)	Math混合: 1.114 vs 基线 1.163 (↓4.2%)
1B	Starcoder混合: 1.888 vs 基线 2.174 (↓13.2%)	Math混合: 0.851 vs 基线 0.942 (↓9.7%)