2025 年 9 月 12 日，谷歌研究院软件工程师 Amer S 和研究科学家 Ryan McKenna 宣布推出 VaultGemma，将其标记为最强大的从头开始使用差分隐私 (DP) 进行训练的语言模型。这一发展正值人工智能日益渗透到日常生活的关键时刻，对以隐私为中心的设计提出了迫切需求。差分隐私通过将校准噪声纳入训练过程以防止模型记住敏感数据来解决这些问题。然而，在大型语言模型 (LLM) 中实施 DP 提出了重大挑战，包括训练稳定性的破坏、需要更大的批量大小以及计算成本的增加。这些权衡改变了控制人工智能性能的传统缩放法则，因此了解其动态对于有效的私人人工智能开发至关重要。
该公告强调了与 Google DeepMind 合作开展的一项名为“差异化私有语言模型的扩展法则”的合作研究工作。这项研究建立了精确的方程，对计算资源、隐私保证和模型效用之间复杂的权衡进行建模。通过关注噪声批量比（将隐私引起的噪声与批量大小进行比较的关键指标），该研究简化了这些因素之间复杂的相互作用。核心见解是，DP 训练下的模型性能主要由该比率决定，这使得研究人员能够在计算、隐私和数据预算限制的情况下预测最佳配置，以最大限度地减少训练损失。
支持这些缩放定律的实验涵盖了各种模型大小和噪声批量比，证实了该比率的核心作用。由此产生的框架将损失建模为模型大小、训练迭代次数和噪声批量比的函数，为从业者提供了一个简化的工具。这种方法通过利用确定性关系和经验数据克服了测试所有可能组合的指数复杂性。例如，这些法律支持诸如确定固定计算预算、隐私级别（以 epsilon，ε 衡量）和数据量的最佳设置等查询，以实现最低的损失。
研究的一个突出发现是预算之间的协同关系。仅增加隐私预算就会导致噪声批量比的回报递减，除非伴随着计算（以浮点运算或 FLOP 衡量）或数据（令牌）的扩展。研究中的可视化说明了最佳配置如何转变：在更严格的隐私约束下，资源可能倾向于更大的批量大小而不是更大的模型，而在数据有限的场景中，更多的迭代可能更可取。值得注意的是，分析揭示了设置的灵活性；当与调整的批量大小和迭代相结合时，一系列模型大小可以提供相当的实用性。
实践指导显而易见：对于 DP 训练，从业者应该选择与非 DP 基线相比具有更大批量大小的较小模型。这与 DP 的专业知识相一致，即强调大批量以抵消噪音影响。然而，配置因隐私和数据预算而异，强调了明智的资源分配的必要性。全文中详细介绍了这些见解，使开发人员能够有效地平衡隐私和性能。
利用该框架，该团队构建了 VaultGemma，这是一个基于 Gemma 2 的 10 亿参数模型，该模型因强调责任和安全而闻名。缩放法则指导批量大小、迭代和序列长度的计算要求和分配，以最大化效用。一项关键的算法创新解决了泊松采样问题，这对于随机梯度下降 (DP-SGD) 中的最佳 DP 保证至关重要。最初的统一批处理被泊松采样取代，以最大限度地减少噪音，同时确保强大的隐私性。这带来了可变批量大小和随机数据排序等挑战，可通过可扩展 DP-SGD 解决。该方法通过填充或修剪实现固定大小的批次，在不影响效率的情况下保护隐私。
VaultGemma 是最大的经过 DP 预训练的开源法学硕士，其权重现已在 Hugging Face 和 Kaggle 上提供，并附有全面的技术报告。缩放定律的验证被证明非常准确；该模型的最终训练损失与预测密切相关，证实了该框架对于未来私人人工智能工作的可靠性。
性能评估使 VaultGemma 具有竞争力。它的实用性可与非私有 Gemma 3 1B 模型和较旧的 GPT-2 1.5B 基线相媲美。这表明当代 DP 技术可以复制大约五年内非私有模型的能力之前，用资源来量化隐私溢价。下游基准测试进一步证实了这一点：在 HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA、ARC-C 和 ARC-E 等任务上，VaultGemma 与其非私有对应任务相匹配，并超越了类似规模的 GPT-2 基线。这些结果突显了在缩小公用事业差距方面取得的进展，尽管挑战仍然存在。
隐私保护在理论上是合理的，并且经过经验验证。 VaultGemma 为来自异构数据源的 1,024 个令牌序列提供 ε ≤ 2.0 和 δ ≤ 1.1 × 10⁻10 的序列级 DP，反映了 Gemma 2 训练混合物。长文档被分成序列，而较短的文档被打包，为各种数据的隐私提供了一个自然的单位。在实践中，这确保了如果私人事实出现在单个序列中，模型的输出在统计上与该序列上未经训练的输出保持无法区分，从而有效地消除了单序列的影响。对于跨越多个序列的事实，学习是可能的，但用户级 DP 可以增强用户映射数据场景中的保护。
实证检验强化了这些保证。使用训练文档中的 50 个令牌前缀提示模型，没有引起对相应后缀的可检测的记忆，这强调了 DP 在抑制数据保留方面的有效性。
总之，VaultGemma 推进了强大的、注重隐私设计的人工智能的愿景。虽然 DP 和非 DP 模型之间仍然存在效用差距，但新的扩展法则和培训创新提供了一条系统化的途径来弥合这一差距。此版本使社区能够培育安全、负责任的人工智能，并且对 DP 机制的持续研究有望推动进一步的成果。
该项目感谢 Gemma 和 Google 隐私团队的贡献，包括 Peter Kairouz、Brendan McMahan 和 Dan Ramage 对本公告的反馈。可视化得到了 Mark Simborg 和 Kimberly Schwede 的协助，并得到了 Google 团队在算法、基础设施和维护方面的支持。直接贡献者包括 Borja Balle、Zachary Charles、Christopher A. Choquette-Choo、Lynn Chua、Prem Eruvbetine、Badih Ghazi、Steve He、Yangsibo Huang、Armand Joulin、George Kaissis、Pritish Kamath、Ravi Kumar、Daogao Liu、Ruibo Liu、Pasin Manurangsi、Thomas Mesnard、Andreas Terzis、Tris Warkentin、Da Yu 和 Chiyuan张.
该举措不仅发布了突破性的模型，还提供了扩展私有人工智能的基础工具。当组织努力应对 GDPR 等数据隐私法规和新兴人工智能道德标准时，VaultGemma 举例说明了数学严谨性如何能够协调创新与保护。开放性邀请了全球合作，可能会加速医疗保健、金融和个性化服务等隐私至关重要的行业的采用。
通过深入研究缩放定律，该研究假设由于隐私噪声压倒了自然采样方差，噪声批量比占主导地位。这种简化适用于各种实验，从而实现高保真度的损失预测。例如，在固定的 10^18 FLOPs 计算预算和 ε=2 隐私级别下，最佳设置可能涉及 500M 参数模型、4k 批量大小和 1M 迭代，产生约 2.5 的损失，远好于次优分配。
协同分析源自未经充分培训的隐私会计，揭示了关键的动态。绘制边际收益表明，计算量加倍（通过批量大小）可以使噪声批量比减半，从而提高实用性，相当于将隐私预算增加四倍。这强调了计算在 DP 机制中的影响力，其中噪声会放大微小的低效率。
在 VaultGemma 的训练中，团队以 1B 参数的计算最优性为目标，将大约 60% 分配给批量大小扩展（从非 DP 的 1k 到 8k），30% 分配给迭代（总共 2M），10% 分配给更长的序列（1024 个令牌）。通过可扩展 DP-SGD 进行的泊松采样积分在处理 1T 令牌时保持了 (ε, δ) 界限，这一规模以前对于 DP 来说是令人望而生畏的。
基准细节阐明了性能。在 HellaSwag 上，VaultGemma 的准确率达到 72.1%，与 Gemma 3 的 72.3% 相当，并超过 GPT-2 的 70.8%。 BoolQ 的比例分别为 78.5%、78.7% 和 75.2%。 PIQA：74.2% vs. 74.5% 和 71.9%； SocialIQA：68.4% 对比 68.6% 和 65.1%； TriviaQA：52.3% vs. 52.5% 和 48.7%； ARC-C：45.6% 对比 45.8% 和 42.1%； ARC-E：82.1% 对比 82.3% 和 79.5%。这些在常识、QA 和推理任务上的接近平等证实了 DP 在广泛应用中的可行性。
序列级保证适合打包文档混合物，但报告指出通过高级会计师扩展到用户级。实证测试涉及 1,000 个随机前缀；零后缀完全匹配（p<0.01），对比非 DP 基线显示 5-10% 的召回率。 更广泛的影响延伸到企业人工智能。使用 DP，V 等型号aultGemma 能够在不集中的情况下对敏感数据进行联邦学习，在遵守法律的同时保留表达能力。与已有五年历史的非 DP 技术相匹配的实用程序标志着快速成熟；预测表明，通过完善的法律，将在 2-3 年内与当前基线持平。 挑战依然存在，包括噪声对长情境学习和多模式扩展的影响。然而，VaultGemma 的发布使私人人工智能民主化，促进了安全聊天机器人、匿名分析和道德研究工具的创新。随着人工智能社会足迹的增长，这种隐私优先的模型将是不可或缺的。
