里约「主权大模型」翻车:开放权重让谎报实验室能力第一次被数学证伪

里约政府 IT 公司发布 397B「巴西主权」开放模型并宣称自训练击败同级。Nex-AGI 用身份测试与权重共线性两套独立证据证明它只是 0.6 倍 Nex 加 0.4 倍 Qwen 的逐元素合并。要害不是没标引用,是对外谎报了自己实验室的能力,而权重张量这次成了无法抵赖的指纹。

里约「主权大模型」翻车:开放权重让谎报实验室能力第一次被数学证伪
图 / Unsplash

概述

里约热内卢市政府的 IT 公司 IplanRIO 发布了 Rio-3.5-Open-397B,对外讲的故事很完整:一个 3970 亿参数、由巴西人自己训练的「主权」开放模型,在基准上击败同级别的开放模型。对一个市政 IT 部门来说,这是个会上头条的成绩。

然后另一家实验室 Nex-AGI 把它拆开了。结论冷得没有余地:Rio 的权重就是他们自家模型 Nex 与官方 Qwen3.5-397B-A17B 基座的逐元素权重合并,大约 0.6 份 Nex 加 0.4 份 Qwen,没有任何自训练的痕迹。更狠的是证明方式,Nex-AGI 给了两条完全独立的路径,每一条单独成立。

事发后,Rio 悄悄改了 Hugging Face 上的模型卡,承认这是 Nex-N2-Pro 与 Qwen3.5 的合并,再加一道蒸馏,并称之前传错了文件、深表歉意。市长那边却另有说法,他公开讲这是「过去一年用公帑在里约训练的开放 AI 模型」,团队成员又在社交媒体上说没动用公款。两种口径对不上。

这篇想说清楚的不是又一个学术不端的瓜,而是一个更要紧的转折:当模型以开放权重发布,谎报自己实验室的能力,第一次变成了可以被数学当场证伪的事。

争的是什么

表面上,争的是一句话:Rio 究竟有没有训练过这个模型。Rio 说训练了,还能打榜;Nex-AGI 说没有,只是把两个现成模型按比例相加。

往下一层,争的是这件事该被定性成什么。HN 上第一反应是「不就是没给 Qwen 标引用嘛」,立刻有人纠正:引用不是重点,谎报自己实验室的能力才是。这句话点到了真正的分歧。把别人的开源模型拿来用、忘了致谢,是版权礼节问题;对公众宣称「我们训练出了一个击败同级的模型」,而实际上只做了一次加权平均,是另一件性质完全不同的事。前者是失礼,后者是失实。

再往下,是钱和动机的争论。市长说用了公帑,团队说没用,issue 和 HN 的评论区为此吵成一团。有里约本地的纳税人直接发声:作为纳税人,他想知道钱花在哪了,如果实际做的不是当初立项要做的,技术圈有责任把它摆清楚以便调查。这一层已经超出技术,进入了公共问责。

值得注意的是争论里有一处自相矛盾:既然目标是做出最强模型,本该 100% 用更强的 Nex-N2-Pro,没有任何理由再去掺一份会拖后腿的 Qwen 基座。掺进来唯一说得通的动机,是让结果看起来像「自己训练的、和 Qwen 不一样的东西」。换句话说,那 0.4 份 Qwen 的存在,本身就是动机的旁证。

谁更有理

证据这一边几乎是一边倒。Nex-AGI 给的两条路,技术上都站得住。

第一条是身份测试。Rio 出厂带了一段硬编码的系统提示,强行让模型自称「你是 Rio」。这本身就是一个破绽:一个原创模型不需要被命令才肯说出自己的名字。Nex-AGI 把这段提示拿掉,直接问底层模型「你是谁」,问了 120 次。结果是去掉面具后,模型 79.2%(95/120)自称 Nex、73.3% 自称来自 Nex-AGI、0%(0/120)自称 Rio,还能逐字复述 Nex-AGI 给自家模型设定的那套来历。一个名叫 Rio 的模型,摘掉提示后五次里有四次说自己是 Nex、一次都不认 Rio,这不是巧合能解释的。

第二条是权重共线性,这条才是决定性的。合并是一种刚性的数学关系:若 Rio 等于 α 乘 Nex 加 (1−α) 乘 Qwen,那么对每一个张量,(Rio 减 Qwen) 必须正好是 α 倍的 (Nex 减 Qwen)。Nex-AGI 对每个张量量两个数:一是混合系数 α,二是共线性 cos_fit,即 Rio 相对 Qwen 的偏移方向,和 Nex 相对 Qwen 的偏移方向是否一致。两个互不相关的模型,在十亿维空间里这两个方向几乎正交,cos_fit 约等于 0;真正的合并约等于 1。

他们量出来的结果横跨全部 60 层、网络的每个组件:占了 387B 参数主体的路由专家,α 是 0.571(误差 ±0.0016),共线性 0.993;输出头 0.991;注意力部分约 0.986;线性注意力投影约 0.984。0.98 到 0.99 的共线性不是「相似度很高」这种模糊措辞,对一个上千万到上亿参数的张量,两个无关方向靠运气也就吻合到正负 0.0001 的量级,测到 0.99 意味着偏离随机几千到上万个标准差。这已经不是统计上的可疑,是统计上的不可能。

而最有力的一击,是 Rio 自己改了模型卡承认合并。被告认罪,争论基本结束。

不过要给 Rio 留一处余地:它在认错的同时说,之前传错了文件,传的是合并的基础版,没传最终蒸馏版,还会重传正确的。这句话目前无法核实,留作存疑。但即便属实,也只是把「合并加蒸馏」的蒸馏那一步补回来,改不了核心事实:底座是合并,不是自训练。

为何重要

真正的新信号不在造假本身,在造假被抓的方式变了。

过去要证明一家机构谎报了技术能力,得靠泄露的邮件、内部备忘、知情人作证,全是间接证据,可以被否认、被公关、被时间冲淡。这次不一样,证据就是权重本身。任何人,只要手里有 Nex、Qwen、Rio 三个模型的副本,加一段 Python 脚本,就能自己复算出那个 0.99 的共线性。它可复现、可独立验证、不依赖任何内部人,是最难抵赖的一类证据。issue 里有人把这说得很到位:开放权重让你永不消失,也让你无法藏匿盗窃,权重就是指纹,每个模型的张量里都带着它的血统,你没法像洗钱一样洗白一个模型,因为数学会记住。

这对所有打「自研主权 AI」旗号的政府和公司,是一记直接的警钟。主权 AI 的政治叙事里,「我们自己训练的」是核心卖点,因为它意味着自主、不受制于人。可一旦你选择开放权重发布,你就把验证权一并交了出去:你声称训练过的东西,全世界都能逐张量复算。开放权重和「夸大其词」这两件事,从此互斥。要么真做,要么别开源,否则指纹会出卖你。

对建设者还有一层实际启发:模型出处(provenance)正在成为一个可量化、可审计的维度。共线性分析这套方法,不只能抓造假,也能用来做正向的尽职调查,比如你要采购或基于某个开放模型二次开发,可以先验它的血统到底是什么。这套数学今天还停留在研究者手里,但它注定会被工具化、产品化。

该忽略什么

第一个该杀掉的误读,是「这只是没给 Qwen 标引用的小事」。这是 HN 上最早冒出来、也最该被纠正的反应。引用缺失是社区礼节层面的问题,可以道个歉补上;这件事的性质是一个公共机构对外谎报了自己的研发能力,还拿它给城市做了宣传。把谎报能力降格成漏标引用,等于放过了真正的问题。

第二个该杀掉的,是「合并居然有效,那把所有开源模型合一合不就更强了」。HN 上确实有人这么乐观地问,但行内人当场泼了冷水。合并只在架构匹配的同源模型之间才可行,Rio 这次能成,恰恰是因为 Nex 本身就是 Qwen3.5 的微调,本质是「Qwen 的微调」和「Qwen 的基座」相融,自然高度共线。而且多数合并只在小众的、感觉类的基准上有点提升,在真实的长链推理基准上往往退化。把合并当成免费的能力叠加,是技术上的误判。事实上这次掺 Qwen 大概率不为提升,只为让结果看起来不像纯粹的 Nex。

最后,别被公帑那场口水仗带跑。市长说用了公款、团队说没用,issue 和 HN 吵了大半屏,但这是一桩需要当地审计去厘清的事实,不是技术能裁定的。围绕「favela 没修先修模型」「养这些研究员的钱谁出」的情绪宣泄,再热闹也改不了核心结论。技术上的事已经板上钉钉:Rio 的权重是合并出来的,不是训练出来的,剩下的归调查。

常见问题

怎么用数学证明一个模型是另外两个模型的合并?

看权重张量的方向是否共线。若 Rio = α 倍 Nex 加 (1−α) 倍 Qwen,那么对每个张量,(Rio 减 Qwen) 必须正好等于 α 乘 (Nex 减 Qwen)。Nex-AGI 量了两个值:混合系数 α,以及共线性 cos_fit,即「Rio 相对 Qwen 的偏移」与「Nex 相对 Qwen 的偏移」是否指向同一方向。两个无关模型在十亿维空间里方向近乎正交,cos_fit 约等于 0;真正的合并则约等于 1。他们测到 0.98 到 0.99,对一个上千万到上亿参数的张量,这偏离随机的程度是几千到上万个标准差。

Rio-3.5-Open-397B 到底是不是自训练的?

不是。两套独立证据都指向逐元素合并:去掉硬编码的「你是 Rio」系统提示后,模型 79.2% 自称 Nex、0% 自称 Rio,还能逐字背出 Nex-AGI 的组织设定;权重层面,全部 60 层每个组件都是固定的 0.6 比 0.4 混合,α 约 0.571,共线性 0.98 到 0.99。事发后 Rio 自己改了模型卡,承认是 Nex-N2-Pro 与 Qwen3.5 的合并加蒸馏。

既然合并有效,是不是把所有开源模型合一合就能更强?

不能当成普遍规律。合并只在架构匹配的同源模型间可行,这里能成是因为 Nex 本身就是 Qwen3.5 的微调,等于「Qwen 微调」与「Qwen 基座」相融。HN 上的从业者也指出,多数合并只在小众感觉类基准上有提升,在真实长链推理基准上反而退化。把合并当成免费午餐是误读。

为什么说要害是谎报能力,而不是没标注引用?

标注引用是版权礼节,谎报能力是对外撒谎。一个政府机构对公众宣称「我们训练了一个击败同级的主权模型」,实际只是把别人两个开源模型按比例相加。问题不在于忘了感谢谁,在于声称自己有一份并不存在的训练能力,并以此为城市做了面子宣传。这对所有打「自研主权 AI」旗号的政府和公司都是警钟。

来源

  1. Rio-3.5-Open-397B ≈ 0.6×Nex-N2-Pro + 0.4×Qwen(Nex-AGI 的证据,GitHub) / blog
  2. Rio-3.5-Open-397B 模型卡(已改为承认 merge) / official
  3. Rio de Janeiro's homegrown LLM appears to be a merge(Hacker News 讨论) / hn