白宫科学顾问 Michael Kratsios 声称,中国公司 Moonshot 通过复制 Anthropic 的 Fable LLM 制造了 Kimi K3 模型,同时使用了向中国出口的违禁芯片。克拉西奥斯表示:“旨在窃取美国专有技术并破坏美国研究的大规模、秘密工业蒸馏是不可接受的。”由于人工智能领域的担忧,有关禁止中国开放权重模型的讨论正在进行中。

财政部长 Scott Bessent 支持 Kratsios,他声称:“我们在许多中国模型上发现了美国大语言模型的水印,这是不可接受的。”这些水印的性质仍不清楚,财政部也没有回应询问。

专家们对仅靠蒸馏就能解释 Kimi K3 先进功能的观点表示怀疑。劳德研究所 (Laude Institute) 的研究员布雷登·汉考克 (Braden Hancock) 表示,“我认为,在《神鬼寓言》进行严格蒸馏之后,你不会得到如此强大、如此迅速的模型。”自 7 月 1 日《神鬼寓言》发布以来,时间框架很短。汉考克强调了在两周内提取如此复杂的数据的难度。

艾伦人工智能研究所的内森·兰伯特补充说,随着中国模型变得更加复杂,蒸馏的有效性似乎正在下降。他指出,当前的训练方法越来越倾向于强化学习,这涉及比蒸馏更大、更复杂的过程。

蒸馏通常需要实验室系统地查询法学硕士以生成用于后期培训的数据。这可能涉及模型模仿另一个模型的能力的监督微调。然而,兰伯特警告说,随着模型变得越来越复杂,监督微调的优势就会减弱。

Anthropic 早些时候指责 Moonshot、DeepSeek 和 MiniMax 提炼其模型,声称它们检测到了表明能力提取的异常查询模式。相比之下,正如埃隆·马斯克(Elon Musk)所指出的那样,蒸馏实践在整个人工智能行业得到了认可,他证明 SpaceXAI 蒸馏了 OpenAI 模型来创建 Grok。

Kratsios 在指控中还声称,Moonshot 在泰国购买了先进的 Nvidia 芯片和 GB300 服务器,这些产品被禁止出口到中国。乔治城安全与新兴技术中心研究员萨姆·布雷斯尼克指出,此类违禁芯片存在黑市。

布雷斯尼克呼吁为涉及重要培训业务的数据中心制定“了解你的客户”法律。然而,拜登总统领导的商务部旨在于 2024 年制定此类规则的联邦法规提案的进展却陷入停滞。

先进芯片的出口商必须确保用于经批准的用途,但这一领域的执法仍然是一个挑战,最近超微创始人因走私先进芯片进入中国而被起诉就凸显了这一点。

<小时/>

精选图片来源

  Thinking Machines Lab 推出交互人工智能模型