ARTICLE / DEEP READING

最新动态

从比赛现场到数据趋势,深入阅读每一篇值得关注的体育内容。

Anthropic微微发力,AI中转站的天就要塌了?文章配图
READ
IN DEPTH

FEATURED ARTICLE

Anthropic微微发力,AI中转站的天就要塌了?

你付钱调用的那个 AI,真的是商家承诺的那个模型吗? 比如,一个第三方平台声称接入了旗舰模型,后台却换成便宜的小模型、旧模型,光看回答的语气和质量,我们很难判断;又或者是同一道题目,官网能做出来,用中转站却卡住了。 图|GitHub 上部分 AI API 中转站推荐与评测项目 不少通过第三方 API、聚合平台或中转服务调用模型的国内用户来说,这大概是经常需要面对的问题。 一个看起来简单的模型请求,背后需要经过「用户—中转站—上游服务商—模型」多个环节,只要其中一环缺少透明度,我们就很难确认自己买到的,是不是标价对应的模型。 图|研究链接:https://www.anthropic.com/research/provable-inference Anthropic 近日发布的一项研究,试图把这个只能靠口碑、截图和体感争论的问题,变成一个可以数学验证的问题。 这套名为 FlashProve 的开源研究原型,可以为模型推理生成密码学证明。它尝试让服务商为模型的计算结果提供密码学证明,用户不用拿到模型权重,也不用自己再跑一遍大模型,就能核验。 不公开模型,也能证明「你就是你」 除了使用模型厂商官方的应用,和从官网调用 API 进行对话,我们能确认使用模型的情况。在大多数的 API 调用里,我们提交问题,服务器返回回答,模型世界上是跑在了远程的机器上,我们无法得知后台究竟进行了那些计算。 斯坦福大学的研究项目《Model Equality Testing》曾经就测试过 2024 年四款 Llama 模型的 31 个商业 API 端点,发现其中 11 个端点的输出分布,与 Meta 发布权重的参考分布存在统计差异。 同一个模型名字,有时候并不能对应同一种表现。即便在服务页面挂着的都是 Opus 5.5,但根本无法保证用户获得完全相同的模型。 有时候我们想着可以靠几个问题来鉴别模型,就像最近内测 Opus 5.5 一样,有网友说问他 2026 年 5 月,Karpathy 去了哪里,如果模型答不出他去了 Anthropic,那就是没有被测试到。 但靠这些问题来鉴别模型,还会遇到模型厂商自己路由的问题,往往很难直接定位原因。像是碰巧答错、参数不同、上下文没传完整,和后台换了模型,最后都可能表现成一句「怎么变笨了」、「这不是我想要的模型吧」。 FlashProve 的核心,是一种名为 zkSNARK 的零知识简洁证明技术。 首先,模型服务商为权重生成一个「承诺」,它类似一组密码学指纹,能够唯一锁定特定权重,却不会公开权重本身。 随后,服务商针对给定的输入与待检查输出,生成一份证明,核验这些输出是否符合事先约定的模型计算。用户拿到模型承诺、提示词、回答和证明文件,就可以在自己的电脑上检查: 这套被锁定的权重处理这段输入时,是否确实会产生这些输出。 如果中转站偷偷换了一套模型,或者有人修改了输出,证明便无法与原来的模型承诺对应。 这里用到的零知识证明也很重要,目的是为了让验证者在确认计算结果时,却不会因此获得模型权重、中间计算值,以及 MoE 模型在各层调用了哪些专家。 这也解释了它为什么比「让 AI 自报家门」可靠,回答里写了什么模型名字,不再充当身份证明,检查的是输出与指定权重之间的计算关系。 一台笔记本就能核验 过去,为大模型生成零知识证明的最大障碍是成本,证明过程可能比普通推理慢上几个数量级,证明文件也可能非常大。 Anthropic 使用公开 4-bit 权重的 Llama 4 Maverick 进行实验。这是一个拥有 4000 亿参数的混合专家模型,每个 token 实际激活约 170 亿参数。根据 Anthropic 公布的数据: 单张 H100 生成证明的吞吐量约为 110 tokens/秒 每个 1,024-token 请求的证明约为 19 MB 验证不需要 GPU,在 24 线程 CPU 上约需 17 秒 ,单线程约需 21 秒 模型权重的初始承诺只需生成一次,耗时约 39 分钟 不过这里的 110 tokens/秒是 证明生成速度 ,不是用户聊天时的模型输出速度。证明依然昂贵,在 Anthropic 的对比条件下,其 GPU 时间约为普通 vLLM 推理的 70~95 倍 。 即便不是免费,但这套方案,以及把一种过去近乎难以承受的验证方式,推进到了开始具有实际想象空间的阶段。 但解释不了「降智」 对于中转站用户,这项技术最直接的吸引力,当然是识别模型替换。但这里有一个关键前提,是我们必须提前知道 正品模型的承诺 是什么。 如果中转站拿出一份有效证明,却只能证明回答来自它自己选择的模型 B,而用户无法确认模型 B 与自己购买的模型 A 是否相同,那么这份证明仍然解决不了身份问题。 真正有效的使用方式,应当是由模型厂商、可信机构或

about image

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

霜降后最该喝的汤,不是鸡汤和骨汤,而是这3样,润燥暖身强体质,脾胃舒服元气足,安稳过秋冬!

霜降后最该喝的汤,不是鸡汤和骨汤,而是这3样,润燥暖身强体质,脾胃舒服元气足,安稳过秋冬!

霜降一过,早晚的风就带了“刺”,吹在脸上干巴巴的,嗓子眼也总像缺了口水。这时候很多人第一反应是炖锅鸡汤、熬锅骨汤,觉得油厚汤浓才补得进去。其实霜降后的“燥”和“寒”是搭伴来的,光靠厚腻的汤,脾胃未必受得住,反而容易觉得堵得慌。 真正适合这时候端上桌的,是几碗看着清亮、喝着熨帖的家常汤。食材不金贵,菜市场转一圈就能凑齐,但搭配对了,润燥、暖身、养脾胃,一样都不耽误。下面这三样,是我家霜降后轮着做的,

网约车司机问政交通局,8公里10才块钱能不能帮帮司机,交通局回复了!

网约车司机问政交通局,8公里10才块钱能不能帮帮司机,交通局回复了!

成都一位师傅在问政平台晒出订单:8公里,到手10.08元,一公里一块多。他说跑车是拿命谋生,希望主管部门帮帮司机。 交通局的回复很快,核心是四个字:市场调节价。不少师傅看完觉得是 "官话",但如果只停留在情绪上,就错过了这个回答背后真正的分量。 首先要厘清一个误区:市场调节价,绝不等于平台可以随意定价。 网约车的运价确实由平台依法自主制定,但 "自主" 有边界,不能低于成本倾销、不能搞价格欺诈、不

[流言板]顾全:球队比较困难,但好的是贺希宁一直在扛着球队往前走

[流言板]顾全:球队比较困难,但好的是贺希宁一直在扛着球队往前走

虎扑11月01日讯 今日CBA常规赛,辽宁91-71战胜深圳。赛后新闻发布会上,深圳男篮主教练顾全点评本场比赛: “首先球队还是比较困难,外援包括国内的几个主力都不在,确实非常困难。队里老队员比较少,都是一些年轻的。但是比较好的一点是什么呢?是贺希宁一直在带着球队、扛着球队往前面走,可能大家都会说他现在状态不好。我觉得肯定会慢慢好起来的,可能需要更多的时间,需要更多的比赛感觉。因为确实过去的一个夏

米体:国米后卫线急盼斯通斯复出,冬窗或补后卫

米体:国米后卫线急盼斯通斯复出,冬窗或补后卫

北京时间11月12日,据《米兰体育报》消息,国米急盼斯通斯复出,冬窗或补后卫。 齐沃已经在这个位置上轮换了四名球员。斯通斯状态尚可,但仍在接受考察:如果没有保障,俱乐部冬窗还会继续投入。 球队需要硬汉。需要斯通斯。国际米兰在最近两场比赛里明显提升了防守表现,先后5-0击败费耶诺德和科莫。球队防守改善,一方面得益于更谨慎的比赛计划,他们更合理、更协调地利用压迫,并压低了全队的平均防线;另一方面也来自

范乔丹神来之笔决胜一击!申京43+12火箭三连胜 杜兰特22分超轻松

范乔丹神来之笔决胜一击!申京43+12火箭三连胜 杜兰特22分超轻松

北京时间11月14日,NBA常规赛,火箭以125-118击败爵士拿到三连胜。此役是申京生涯之夜,他拿到生涯第二个40+,也是本赛季首个30+、40+,也是生涯第二个40+10,如果不是申京这个爆点火箭或许杯赛就是一波连败面临出局了。老范最后时刻的神来之笔也是本场的亮点。 这是火箭本赛季第二场杯赛,他们第一场杯赛就输球了,此役如果再输球进入淘汰赛难度就非常大了。开场打得还挺顺利,但爵士换上班巴后火箭