SenseNova-Loop-9B 是什么？商汤的 9B 循环模型：32 层权重跑出 56 次计算，256K 上下文

快速答案

商汤开源9B循环模型：32层权重跑出56次层计算，256K上下文，Apache-2.0。

2026 年 10 月 30 日，商汤宣布开源日日新 SenseNova Loop-9B-Preview——一个只有 9B 参数、却宣称能媲美 27B 级模型的多模态模型。它的办法不是把参数堆上去，而是把计算“折”起来：32 层解码器里，中间 24 层用同一份权重连跑两遍，一次前向实际做了 56 次层计算，却只存 32 层权重。官方规格把这种展开后的规模写成约 14.6B 推理参数，训练上下文最长 262,144 tokens（即 256K），许可 Apache-2.0，权重已上 Hugging Face。先说清楚三点，避免误读：第一，名字里的 Preview 是认真的——技术报告还是 TBD，Transformers 推理实现的公布细节也还待宣布；第二，“媲美 27B”是商汤的官方说法，模型卡本身只贴了一张基准对比图、正文没有可读数字，本文不引用具体跑分；第三，它没有托管 API，想用就得自己部署。\n\n免责声明：本站与商汤无关；本文为产品技术报道与分析，不构成采购、部署或法律建议。参数、规格与许可等以官方模型卡与仓库页面为准，可能变化；未公开的信息以官方页面为准。

一、是什么：9B 参数、循环架构、为长上下文与 agent 而生

SenseNova-Loop-9B-Preview 是商汤日日新（SenseNova）的一款多模态语言模型，Hugging Face 模型页创建于 2026 年 10 月 28 日，商汤于 10 月 30 日正式宣布开源，许可 Apache-2.0。模型卡给它的定位很具体：为长上下文与 agent 工作流而生的循环多模态模型——输入是文本与图像，输出是文本，面向文档理解、代码编写、与外部工具交互这类任务。\n\n理解它的第一把钥匙是“循环”二字。常规 Transformer 是把每一层权重用一次、从头走到尾；Loop-9B 是把中间一段层当成一个可以反复用的模块，用同一份权重多跑一遍，用计算换深度，而不是把参数原样再拷一份。官方把这种做法叫 Looped Transformer，并把它列为“面向下一代模型架构的前沿探索”——也就是说，这篇的看点首先是架构本身，而不是又一个参数数字。\n\n第二把钥匙是 Preview 这个后缀。模型卡上明明白白写着：技术报告 TBD，Transformers 推理实现的公布细节待宣布。权重是真的开源了，但配套的论文级说明还没到。把它当成一个可以上手跑、值得研究的架构实践，而不是一个已经盖棺定论的成熟产品，心态就对了。

二、循环是怎么回事：B(B(h))，一笔可以复算的账

循环结构可以写成一道很小的算术题，值得自己验算一遍。模型一共 32 层解码器：输入先过第 0–3 层（4 层），然后进入循环块——第 4–27 层这 24 层，用同一份权重依次执行两遍，写成公式就是 B(B(h))，第二遍的输入是第一遍的输出；最后过第 28–31 层（4 层）和输出头。加起来：4 + 24×2 + 4 = 56。一次前向做了 56 次层计算，但磁盘和显存里只存 32 层权重。官方规格里的“约 9B 总参数、约 14.6B 推理参数”就是这么来的：前者是实际存的权重，后者是把循环展开之后的等效规模。\n\n光循环还不够，循环里信息怎么流动是第二个关键。Loop-9B 在循环段引入了双流 mHC（流形约束超连接）：两条残差流绕着解码器层计算走，由学习到的映射决定每一层从哪条流读信息、怎么混合流信息、又怎么把层输出写回残差状态；流混合映射用 Sinkhorn 归一化约束，官方配置是 20 次迭代。用大白话说：多跑一遍不能只是原地转圈，得有机制让信息在两遍之间有效交换、又不把信号传散了，mHC 就是干这个的。\n\n第三个组件是混合注意力：解码器交替使用线性注意力与全注意力，每 4 层为一组，依次是 3 层线性注意力 + 1 层全注意力；循环块的边界与完整的四层组对齐，所以两次执行都保持相同的注意力排列。线性注意力省计算、全注意力保精度，循环又把深度补上——三者合在一起，才是“9B 媲美 27B”这个官方说法的完整技术注脚。需要提醒的是：这个对标说法来自商汤官方，模型卡的基准对比图也没有给出正文可读的数字，本文把它标注为官方说法（preliminary），不把它当作独立实测结论。

三、规格与能力：256K 上下文、多模态输入、Agent 任务取向

先把官方模型卡的硬规格列出来，数字都以模型卡为准。主干：32 层多模态解码器，隐藏层维度 4,096，前馈维度 12,288，词表 248,320，全注意力头 16 个、KV 头 4 个；主干精度 BF16，mHC 路由参数 FP32。上下文：训练序列最长 262,144 tokens，换算过来就是 256K——注意模型卡写的是训练配置里的最大序列长度，长上下文的实际表现（比如长文档问答的准确率随长度衰减多少）暂未公开，以官方后续公布与自测为准。\n\n能力取向写在模型卡的第一段：文档理解、代码、与外部工具交互。模型卡的展示部分也印证了这个取向：示例由 Raccoon Work 制作，覆盖动效设计、PPT 设计（教师节、冰岛、巧克力三套幻灯片）与数据分析（月球任务轨道模拟、能源消耗与峰时购电分析）。也就是说，它的卖点不是纯聊天，而是在长文档、办公文档、工具调用这类“干活”场景里当 agent 的底座。\n\n基准方面要诚实：模型卡有一张对比图，列出的基准包括 BIRD-Dev、WorkBuddy Bench、AIDABench、TeamBench、Terminal Bench 2.1、T³-Banking、AutomationBench 与 RaccoonPPTBench，但正文没有可读数字；第三方报道称它在 WorkBuddy Bench 等基准上超过 Qwen3.5-27B（preliminary，二手说法，未读原文，引用时须以官方页面为准）。推理加速方面：MTP 已可用，Dspark 与 Dflash2 还在训练中，实际加速幅度取决于工作负载、硬件与 serving 配置——模型卡原话如此，不承诺具体倍数。

四、怎么上手：Transformers 一把梭，或走推理框架

上手路径模型卡写得很完整，分两条线。第一条，Transformers 直接跑：官方验证过的环境是 Transformers 5.18.0 + PyTorch 2.11.0 + CUDA 13.0，先装 PyTorch，再装 transformers、accelerate、safetensors；模型 ID 就是 sensenova/SenseNova-Loop-9B-Preview，加载时要开 trust_remote_code=True（因为模型实现是自定义代码），示例用贪心解码、最多生成 256 个新 token，单卡就能跑；开 thinking 模式把 enable_thinking 设为 True 即可。提醒一句：trust_remote_code 意味着你在运行仓库自带的代码，生产环境先审一遍再用，这是所有自定义实现模型的通用规矩。\n\n第二条，走推理框架：LightLLM 有 4 卡示例（Docker 拉取 modeltc/lightllm:main，tp 4 起服务）；SGLang 与 vLLM 则要走对应的 PR 分支——SGLang 是 PR #47281，vLLM 是 PR #64832，都是先拉分支、装分支版本、再 serve 模型路径。也就是说，这两个框架的 Loop 支持当时还没进主线，部署前先确认 PR 分支状态。\n\n想微调的人也有官方路径：仓库 OpenSenseNova/torchtitan 里有 SenseNova-Loop-9B-Preview 的训练示例（mHC 双循环配置），单节点 8 卡可跑，另有 DPO 与 MTP 训练的配置说明；Dspark 与 Dflash2 的训练脚本在 OpenSenseNova/SenseSpec 里。微调数据自备（示例里用 train.jsonl 占位），配置细节看仓库训练指南。\n\n三点落地提醒。第一，Preview 状态：技术报告 TBD、Transformers 推理实现细节待宣布，别把它当成文档齐全的稳定版；第二，没有托管 API——Hugging Face 上 api_available 为 False，想试用必须自己部署；第三，许可友好：Apache-2.0，权重公开，商用许可层面没有障碍，但成熟度风险要自己评估。

五、适合谁、怎么选、来源清单

结论分三档。第一档，直接受益：想研究循环架构、mHC、混合注意力这类“用计算换参数”路线的研究者与工程师——权重、配置、训练示例都已公开，32 层跑出 56 次计算的机制可以完整复现；以及需要在长文档、办公文档、工具调用场景里搭 agent 底座，且愿意自己部署的团队。第二档，可用但要先对齐：想把它当生产模型用的团队——先在自己的任务上实测长上下文表现与工具调用成功率，确认 Preview 状态的文档缺口（技术报告、推理实现细节）不影响你的场景，再决定；同时把 trust_remote_code 的代码评审做掉。第三档，暂缓：只想找个开箱即用的聊天 API 的人（它没有托管 API）、指望官方技术报告背书后再下注的人、以及把“媲美 27B”当成实测结论来做采购决策的人——前两者等官方后续公布，后者先看自己任务的实测。\n\n来源清单（核实日期 2026-11-02，北京时间）：\n1）https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview —— 官方模型卡：2026-10-30 发布消息、循环架构与 mHC 说明、规格表、基准对比图、许可 Apache-2.0、Transformers 与 LightLLM / SGLang / vLLM 部署方式、技术报告 TBD；\n2）https://github.com/OpenSenseNova/SenseNova-Loop —— GitHub 仓库 README（中文版）与训练指南：循环结构、mHC、训练配置；\n3）https://www.donews.com/news/detail/1/6760997.html —— 2026-11-01 报道：商汤 10 月 30 日宣布开源、Looped Transformer、9B 媲美 27B 的官方说法；\n4）https://finance.sina.cn/2026-10-30/detail-iniwziiq2245525.d.html?vt=4 —— 2026-10-30 报道：同上，交叉验证发布日期与官方说法；\n5）https://solo.xin/topic/6142 —— 第三方拆解（preliminary）：56 次层计算复算、14.6B 推理等效口径说明。\n\n免责声明：本站与商汤无关；本文为产品技术报道与分析，不构成采购、部署或法律建议。参数、规格与许可等以官方模型卡与仓库页面为准，可能变化；“媲美 27B”为商汤官方说法，基准数字以官方页面为准；未公开的信息以官方页面为准。

SenseNova-Loop-9B 与常规模型：三个不同

维度	SenseNova-Loop-9B	常规 9B 模型	27B 级模型（官方对标）
存多少权重	32 层，约 9B 参数	约 9B 参数	约 27B 参数
一次前向算多少	56 次层计算（24 层跑两遍）	与层数相当的层计算	与层数相当的层计算
推理等效规模	官方规格约 14.6B	约 9B	约 27B
训练上下文	最长 262,144 tokens（256K）	因模型而异	因模型而异
注意力	每 4 层 3 线性 + 1 全注意力	多为全注意力	多为全注意力
许可与获取	Apache-2.0，权重在 Hugging Face	各家不同	各家不同

常见问题解答 (FAQ)

9B 参数怎么媲美 27B？

不是参数变多了，是计算变深了。Loop-9B 只存 32 层权重（约 9B 参数），但中间 24 层共享权重跑两遍，一次前向实际做 56 次层计算，官方规格把展开后的规模写成约 14.6B 推理参数；“媲美 27B”是商汤的官方说法（preliminary），模型卡的基准对比图没有给出正文可读数字，做决策前请以官方页面与自己的任务实测为准。

名字里的 Preview 意味着什么？

意味着它还是预览版：技术报告 TBD，Transformers 推理实现的公布细节也待宣布。权重、配置与训练示例已经公开，可以上手跑、可以研究，但文档齐全度还不是稳定版的水平，生产用之前先评估这个缺口。

256K 上下文是实测表现吗？

模型卡写的是训练序列最长 262,144 tokens，即 256K——这是训练配置里的最大序列长度，不是长上下文问答的实测准确率。长文档场景的实际表现暂未公开，以官方后续公布与自测为准，本文不编造数字。

上手要什么环境？有没有在线试用？

没有托管 API，必须自己部署。Transformers 路线：Transformers 5.18.0 + PyTorch 2.11.0 + CUDA 13.0，加载时开 trust_remote_code=True，单卡可跑示例；也可以走 LightLLM（4 卡示例），或 SGLang PR #47281、vLLM PR #64832 的分支版本。生产用 trust_remote_code 前先审代码。