操千曲而后晓声，观千剑而后识器。

——刘勰《文心雕龙·知音》

第 1 章　概述

Transformer 提出至今十年，其结构流变已有若干综述，此处不再重述。以下各章以当前主流的大语言模型（LLM）为对象，逐一拆解其网络结构。把结构单独提出来讨论，是因为各家模型的改动看似分散，落到硬件上却都指向同一组约束：算力、访存与通信。总参数由数百 B 增至数 T，激活参数长期停在数十 B；上下文由 128K 扩到 1M，KV Cache 反被反复压缩；专家数由 256 增至 896，路由粒度却越来越细。理出这些取舍之间的递推关系，才能判断下一代模型会把压力加到哪里，也才能为加速器的规划留出余量。

书中沿用各发布方的记法：B 与 T 分别表示十亿与万亿参数，全书以 token 统一计量，不加复数后缀。全书凡十章，第 2 章至第 10 章依次讨论 DeepSeek、Qwen、Kimi、MiMo、LongCat、GLM、MiniMax、Mistral 与 Meta Muse 九个系列，共十八节。各节次序大体相同：先交代规模与层配置，再依次讨论注意力、专家混合与数值格式，末了落到该模型给硬件带来的具体约束。附图取厂方公布的原始架构图；厂方未公开的，依其技术规格绘制示意图，并在图注中注明。关键超参数列于表内，文献以方括号编号，统一著录于书末。

第 2 章　DeepSeek 系列

DeepSeek 各代均附有技术报告，结构改动均有明确交代，便于按时间顺序观察同一套基线的演化。V3 确立 MLA、细粒度 MoE 与 MTP 三项基线，V3.2 在基线上加稀疏注意力，V4 把注意力栈改为压缩与稀疏混合，V4.1-Flash 则把网络拆成非对称的编码器与解码器。

2.1　DeepSeek-V3

DeepSeek-V3 于 2024 年 12 月发布，总参数 671B、每 token 激活 37B，上下文 128K，以 14.8T token 语料、FP8 混合精度完成预训练[1]。它确立的三项结构基线为潜注意力 MLA、细粒度专家 DeepSeekMoE 与多 token 预测 MTP，此后各代 DeepSeek 模型均沿用。

如图 2-1 所示，V3 主体为 61 层 Transformer，前 3 层采用稠密前馈网络，后 58 层为 MoE 层。注意力部分即 MLA（Multi-head Latent Attention）：键值对压缩到低秩潜向量（kv 秩 512，另加 64 维 RoPE 分量），推理时只缓存该潜向量，KV Cache 的显存与带宽占用因此降到传统多头注意力的几十分之一；查询侧同样作低秩投影（秩 1536），全模型 128 个注意力头。专家混合部分为 DeepSeekMoE：每层 256 个路由专家（每 token 激活 8 个）与 1 个共享专家，专家中间维 2048；路由采用无辅助损失（auxiliary-loss-free）的 sigmoid 偏置方案，配合组限制路由（8 组中取 4 组）压低专家并行的通信开销，缩放系数 2.5。另有 1 层 MTP 模块用于投机解码，词表 128K。

图 2-1　DeepSeek-V3 的基本架构。左侧为带残差的 Transformer 块，右侧分别展开 DeepSeekMoE（上）与 MLA（下）两个核心模块。图源：DeepSeek-V3 技术报告 Figure 2 [1]

表 2-1 列出 V3 与 V3.2 的主要超参数。三项基线分别压在三种资源上：MLA 把长上下文的瓶颈由注意力计算移到潜向量的读写，细粒度 MoE 以约 5.5% 的激活比换容量，MTP 用一个轻量模块换解码吞吐。访存、容量与串行延迟这三组约束，在此后各代模型中会以不同形式反复出现。

表 2-1　DeepSeek-V3 与 V3.2 的主要超参数

2.2　DeepSeek-V3.2

DeepSeek-V3.2 于 2025 年 12 月发布。与 V3.1-Terminus 相比，架构上唯一的改动是经继续训练引入 DeepSeek 稀疏注意力（DSA）；MoE 的层数、专家数量与大小、路由拓扑均保持不变，总参数仍为 671B、激活 37B，上下文 128K（V3.2-Exp 因新增 DSA 组件，总参约 685B）[2][3]。

DSA 是一个先选择、后注意的两阶段流水线，结构如图 2-2 所示。第一阶段为 Lightning Indexer：一个轻量打分器（64 个头、头维 128、FP8 精度，参数与主干分离）对全部前序 token 计算相关性标量分。第二阶段为 Token Selector：每个查询只取分数最高的 k = 2048 个历史 token 进入主 MLA 路径作全精度计算。在 128K 上下文下，每个查询所见的键约占 1.6%，注意力计算量由 O(L²) 降为 O(L·k)，约为稠密注意力的 1/62。DSA 实例化于 MLA 的 MQA 模式之上，官方随 FlashMLA 库发布了配套的稀疏 kernel，有分页与非分页两种。

图 2-2　DeepSeek-V3.2 的注意力架构：DSA 稀疏注意力实例化于 MLA 之下。图源：DeepSeek-V3.2 技术报告 Figure 1 [3]

V3.2 并非从头训练，而是在 V3.1-Terminus 检查点上作两阶段继续训练：先以 2.1B token 稠密热身，令索引器模仿稠密注意力的分布，再切换到稀疏模式。发布权重采用 128×128 分块 FP8（ue8m0 缩放）。

DSA 把索引器确立为一个新的计算与访存单元，其开销须被摊薄。V4.1 之前，索引器仍是每层的全量开销；GLM-5.2 的 IndexShare 正是对这一点的回应（见 7.2 节）。稠密热身加稀疏切换的继续训练配方，也降低了在同一底座上改动结构的门槛。

2.3　DeepSeek-V4

DeepSeek-V4 于 2026 年 4 月发布，分 Pro 与 Flash 两个规格，保留 DeepSeekMoE 与 MTP，把上下文扩到 1M token，并在注意力、残差与优化器三处作了改动：混合注意力（CSA + HCA）、流形约束超连接（mHC）与 Muon 优化器[4][5]。两个规格的规模对比见表 2-2。

表 2-2　DeepSeek-V4 系列规格

V4 的核心变化在注意力栈。CSA（Compressed Sparse Attention）沿序列维以压缩率 4 压缩 KV Cache，再叠加 DSA 稀疏选择（Pro 取 top-1024，Flash 取 top-512），另加 128 token 滑动窗口以保局部；HCA（Heavily Compressed Attention）以压缩率 128 作深度压缩后执行稠密注意力，为每层提供廉价的全局视野。两类注意力层在网络中交替编排：Flash 的前 2 层为纯滑窗注意力，Pro 则以 HCA 层开局。图 2-3 给出 CSA 系压缩稀疏注意力的三种工作模式（该图出自 V4.1 技术报告，CSA2 为 CSA 的直接演进，可视为其完整形态）。此外，mHC 把残差映射约束到 Birkhoff 多面体（双随机矩阵流形），以改善深层信号传播的稳定性；专家权重以 FP4 存储，较 FP8 再省一半显存，其余权重为 FP8；前 3 层 MoE 采用哈希路由，其余为学习路由。

图 2-3　CSA 系压缩稀疏注意力的三种工作模式，差别在于主 KV 的来源与重建方式。图源：DeepSeek-V4.1-Flash 技术报告 Figure 4 [6]

三类改动对加速器提出的要求并不相同。混合注意力要求同一芯片上同时高效支持压缩加稀疏选择、深度压缩加稠密两类 kernel；FP4 权重存储把低精度数值格式再向下推一档；mHC 与 Muon 则表明结构、参数化与优化器已进入协同设计的阶段。

2.4　DeepSeek-V4.1-Flash

DeepSeek-V4.1-Flash 于 2026 年 9 月发布，是全新结构系列中尺寸最小的一版，以小激活换取长上下文，并进一步压缩 KV Cache，原生支持视觉理解[6][7]。整体架构见图 2-4。

该模型为 552B 参数的 MoE，采用 CED（Causal Encoder-Decoder）非对称结构：40 层网络拆为 20 层因果编码器与 20 层解码器，输入侧（预填充）每 token 仅激活约 8B 参数，输出侧（解码）激活约 16B。预填充主要执行前 20 层编码器，计算量接近减半；生成解码则跑满全部 40 层。缓存方面综合使用 CSA2（第二代压缩稀疏注意力）、FP4 量化与 SWA Bounded Replay（滑动窗口注意力加有界重放）：全局 KV Cache 的 HBM 需求降至上一代的 1/4，落盘 SSD 需求降至 1/8；若以 V3 初代为基准，KV Cache 已累计缩小 437 倍。

图 2-4　DeepSeek-V4.1-Flash 的整体架构：40 层网络分为 20 层因果编码器与 20 层解码器，前馈层均为 DeepSeekMoE。图源：DeepSeek-V4.1-Flash 技术报告 Figure 3 [6]

V4.1-Flash 在多项基准上超过 V4-Pro，官方已将 V4-Pro 的流量逐步路由至该模型。编码器与解码器的不对称激活，把预填充与解码两种负载在结构层面分开：前者层数少、吞吐大、序列长，后者层数多、批量小、延迟敏感，加速器需在两种画像下都保持效率。KV Cache 在 HBM、主机内存与 SSD 之间的分层管理，也不再只是推理系统的实现细节，而进入结构设计的范围。

第 3 章　Qwen 系列

Qwen 一系以线性注意力与稀疏全注意力混合为骨架，并用 N-gram 嵌入查表把参数扩容与计算扩容分开。这不同于 DeepSeek 单纯依靠 top-k 稀疏选择的做法，是长上下文的另一条路径。

3.1　Qwen3.5

Qwen3.5 于 2026 年 2 月发布，总参数 397B、每 token 激活 17B，是千问的原生多模态基座[8][9]。结构见图 3-1：主体 60 层，按 15 ×（3 ×（Gated DeltaNet → MoE）→ 1 ×（门控注意力 → MoE））的循环块组织，线性注意力层与全注意力层约成 3:1。

门控 DeltaNet（Gated DeltaNet，GDN）是线性注意力的一种，设 64 个 V 头、16 个 QK 头、头维 128，以固定大小的循环状态压缩长程历史，使 262K 上下文保持稳定；每隔三层插入的门控注意力层设 32 个 Q 头、2 个 KV 头、头维 256（RoPE 64 维），并结合 NeurIPS 2025 最佳论文的注意力门控机制，在注意力输出端抑制无关信息，使 1M token 上下文下的长程检索仍保有精度。MoE 部分为 512 个专家、top-10 路由加 1 个共享专家，专家中间维 1024，激活占比不足总参的 5%。多模态采用早融合路线：文本与视觉 token 自预训练第一天起即在同一序列流中联合训练，视觉前端为 ViT + PatchMerger（224×224 至 1024×1024 多尺度输入）；模型原生支持多 token 联合预测（MTP）与 201 种语言。在 32K 上下文下，吞吐达 Qwen3-Max 的 8.6 倍（最高约 19 倍），部署成本下降约 60%。

图 3-1　Qwen3.5 混合架构示意图：Gated DeltaNet 与门控注意力按 3:1 组成 4 层循环块，配 512 专家的 MoE 与早融合多模态输入。图源：据官方技术规格绘制的公开结构示意图 [8]

3:1 的混合比例决定了缓存压力的来源：长上下文的 KV Cache 只来自少数全注意力层，容量与带宽压力随之减轻；线性注意力的循环状态更新则是另一种访存模式，属于有状态递推，与传统注意力 kernel 的优化路径不同。阿里另以平头哥真武 810 芯片对该混合结构作了专项优化。

3.2　Qwen3.8-Max

Qwen3.8-Max 于 2026 年 8 月发布，是千问首款万亿级旗舰：总参数 2.4T，稀疏 MoE 每 token 激活约 95B，上下文 1M token，原生多模态（文本、图片、视频、长文档）[10][11]。结构示意见图 3-2。

混合注意力沿用 3 × GDN + 1 × QSA 的分组。QSA（Qwen Sparse Attention）以微块粒度筛选关键内容，与 GDN 的压缩记忆互补，百万 token 场景预填充最高加速 7.6 倍。门控残差把残差信息流拆为 4 条并行通道，由动态门控单元管控流转，并支持 FP8 存储残差状态，长程 Agent 交互中的信息保持因而更稳定。N-gram Embedding 以约 51B 的查表参数（20M 个 N-gram 索引）使参数量可以脱离算力单独增长；该部分可卸载至主机内存，以异步预取与计算重叠，几乎不占显存。训练改用 Muon 优化器并重新拟合缩放定律。阿里云灵骏真武 M890 超节点已适配该模型，是国内首个跑通 2 万亿参数大模型的超节点实例。

图 3-2　Qwen3.8-Max 结构示意图：GDN + QSA 混合注意力、四路门控残差与 N-gram 嵌入查表。图源：据官方发布信息绘制（官方未公开原始架构图）

两类资源在这里被显式分开：计算型参数（专家）留在加速器显存，查表型参数（N-gram 嵌入）放到主机内存池，靠预取喂给计算。这要求加速器与主机之间有高带宽、低抖动的取数通道；每层上百次的专家路由通信，则直接牵引超节点级互联的演进。

3.3　Qwen3.8-Flash-Next

Qwen3.8-Flash-Next 于 2026 年 8 月发布，是 Qwen4 架构的开源预览：125B MoE 主体（激活 6B）+ 51B N-gram 嵌入 + 4B MTP 层（BF16 合计约 180B），48 层，原生上下文 262K（经 YaRN 可扩至 1M），支持图文视频输入[12]。官方架构图见图 3-3，关键超参数见表 3-1。

表 3-1　Qwen3.8-Flash-Next 主要超参数

QSA 的稀疏化发生在微块而非单 token 粒度，索引器以 4 个 query 头共享 1 个 key 头的极轻配置运行；MTP 为 1 层、多步训练，草稿 token 直接来自模型自身，构成内置的投机解码。训练采用 Muon + AdamW 混合配方，去掉 batch warmup，直接以目标 batch size 起步。

图 3-3　Qwen3.8-Flash-Next 的官方架构图。图源：Qwen3.8-Flash-Next 模型卡 [12]

稀疏注意力微块化、残差门控化、参数扩容查表化、投机解码内置化，四个方向在同一模型上同时出现。对显存受限的加速器，这一组合比较有利：大查表可卸载，激活计算极小，稀疏 kernel 的块粒度访存连续。

第 4 章　Kimi 系列

Kimi 一系自 K2 起即以 MLA 配稀疏 MoE。K2.5 在此基础上作原生多模态继续预训练；K3 换用线性注意力、跨层注意力残差与更稀疏的 MoE，激活率降到约 1.8%。

4.1　Kimi K2.5

Kimi K2.5 于 2026 年 1 月发布，是在 Kimi-K2-Base 上以约 15T 视觉与文本 token 继续预训练得到的原生多模态智能体模型[13]。结构示意见图 4-1：总参数 1T、激活 32B；主体 61 层（1 层稠密 + 60 层 MoE），隐藏维 7168，注意力 64 头、机制为 MLA；MoE 含 384 个路由专家（top-8）与 1 个共享专家，专家中间维 2048，激活函数 SwiGLU；词表 160K，上下文 256K；视觉前端为 MoonViT（400M）。模型支持思考与非思考双模式，以及 Agent Swarm（将复杂任务分解为并行子任务，由动态实例化的领域智能体协同执行），并采用原生 INT4 量化以适配 vLLM、SGLang、KTransformers 等推理引擎。

图 4-1　Kimi K2.5 结构示意图：MLA 注意力、384 专家的 MoE 与 MoonViT 视觉编码器。图源：据官方模型卡绘制（官方未公开原始架构图）

同一套 MLA 加细粒度 MoE 出现在两个厂商的万亿模型上，说明这已是可复用的公共基线。INT4 在训练阶段即作为目标格式，也反映出部署数值格式正被提前纳入训练设计。

4.2　Kimi K3

Kimi K3 于 2026 年 7 月在 WAIC 发布，总参数 2.8T，896 个路由专家中每 token 激活 16 个（另加 2 个共享专家），激活约 104B；主体 93 层（69 层 KDA + 24 层 Gated MLA），上下文 1M token，原生视觉[14][15]。官方架构图见图 4-2。

图 4-2　Kimi K3 的整体架构：以 token、通道、层三个维度组织信息流，输入侧带原生视觉通路。每个块由 3 层 KDA + 1 层 Gated MLA 组成，注意力层后接 Stable LatentMoE；AttnRes 以可学习伪查询对嵌入与各前置块输出作选择性检索。图源：Kimi K3 技术报告 Figure 2 [14]

KDA（Kimi Delta Attention）是带逐通道遗忘门的 delta 规则递推：以固定大小的循环状态替代随长度增长的 KV Cache，关键位置再插入稀疏全注意力的增量通道；1M 上下文下解码提速 6.3 倍。AttnRes（Attention Residuals）允许每层选择性检索此前所有层的表征，而非沿残差链均匀累积，以不到 2% 的额外计算换来约 25% 的训练效率提升。Stable LatentMoE 把稀疏度推至 896 选 16（激活率约 1.8%），并以 Quantile Balancing（按路由分位数直接分配专家）与 Per-Head Muon（逐注意力头优化器）实现不依赖 MuonClip 的稳定训练；SiTU 激活与 Gated MLA 分别改善激活控制与注意力选择性。视觉侧的 MoonViT-V2（约 400M）从头以下一 token 预测训练。数值上，模型自 SFT 起作量化感知训练，MXFP4 权重配 MXFP8 激活；训练采用全均衡专家并行（静态形状，关键路径无主机同步），官方推荐 64 卡以上超节点部署；KDA 还为 vLLM 贡献了新的前缀缓存实现。

K3 给硬件带来的压力集中在两处。约 56 倍的稀疏度使专家并行的负载均衡与通信成为一阶问题；KDA 的固定大小状态把 KV Cache 带宽解放了一个数量级，却要求缓存与前缀机制按递推状态重新设计。

第 5 章　MiMo 系列

MiMo 一系以滑动窗口注意力（SWA）配少量全局注意力层（GA）为骨架。V2.5 完成原生全模态化，V2.6 把重心移到规模化 Agentic 强化学习；两者的结构选择都偏向压低单 token 计算量，因为 RL rollout 的算力开销随轨迹长度与条数成倍放大。

5.1　MiMo-V2.5

MiMo-V2.5 系列（2026 年）包含 Pro 与标准版两款，均支持 1M token 上下文，语言主干继承 MiMo-V2-Flash 的混合滑动窗口注意力（SWA）与全局注意力（GA）设计[16]。官方架构图见图 5-1，主要超参数见表 5-1。

表 5-1　MiMo-V2.5 系列主要超参数

SWA 与 GA 约按 5:1 至 6:1 交错，滑窗仅 128 token，配合可学习的 attention sink bias，KV Cache 存储降低近 6 倍。MoE 为细粒度路由专家（top-8，无共享专家），第 0 层为稠密 FFN（中间维 16384）以稳定早期表征。MTP 采用 3 层轻量模块（密集 FFN）。标准版为原生全模态：729M 视觉编码器（28 层：24 SWA + 4 全注意力，行/列窗口交替）与 261M 音频编码器（初始化自 MiMo-Audio）。训练以 FP8 混合精度完成，经五阶段流程（文本预训练、投影层预热、多模态预训练、SFT 与上下文 32K→256K→1M 逐步扩容、RL 与 MOPD 多教师蒸馏）。

图 5-1　MiMo-V2.5 架构图。图源：小米 MiMo 官方发布页 [16]

与结构配套的推理优化包括 KV Cache 双池与 SWA-aware 前缀树、GCache 分级缓存（GPU 闲余内存 + NVMe SSD，RDMA 读 170 GB/s）、KV Cache 亲和调度，使单机吞吐提升约 30%。滑窗 128 配少量全局层的做法，把 1M 上下文的 KV Cache 压到可管理的范围；与此同时，缓存分层与调度亲和性已不再是纯粹的系统问题，而要与模型结构一并考虑。

5.2　MiMo-V2.6

MiMo-V2.6 于 2026 年 9 月发布（MIT 协议开源），在 V2.5 结构上升级为原生全模态（文本、图像、音频、视频），并把重心放在规模化 Agentic 强化学习上[17][18]。官方架构图见图 5-2。

规格上，Pro 为 1.02T/42B（70 层 = 60 SWA + 10 GA），Flash 为 309B/15B（48 层 = 39 SWA + 9 GA，256 专家 top-8），滑窗 128，上下文 1M。全模态前端包括 MiMo-ViT（681M，28 层 = 24 SWA + 4 GA，sink-augmented 滑窗，行/列主序逐层交替，以 4T 图像 token 从头训练）；音频通路由 308M 音频 tokenizer（20 层残差向量量化，25 Hz 帧映射为 20 个离散 token）与 127M patch 编码器（4 帧/patch，把进入主干的速率降到 6.25 Hz）串联。投机解码采用 5 层 DFlash block-diffusion 模块（滑窗 1024），一次前向预测 7 个后续 token 并行验证；RL 阶段改用 rollout 日志微调的 block-6 DFlash drafter，平均接受长度提高 31.3%。

图 5-2　MiMo-V2.6 架构：全模态编码器、SWA/GA 混合主干与 MTP 模块。图源：MiMo-V2.6 技术报告 Figure 1 [17]

V2.6 的规模压力主要来自 RL：单个 RL step 采样 1568 个 prompt、每个 16 条 rollout，合计约 2.5 万条 Agent 轨迹、27～37 亿 token，单条轨迹平均 11～15 万 token，训练上下文最高 1M；Rollout、Grading、Training 三段算力解耦，各自独立扩展。rollout 一旦成为主要算力负载，单 token 计算量、轨迹长度与轨迹数三者的乘积便直接决定总开销，SWA 主导的轻量注意力、内置投机解码与算力解耦因此都成为必要选择，推理硬件与训练硬件的分工也由此更清楚。

第 6 章　LongCat 系列

LongCat-2.0 是美团 2026 年发布的万亿参数模型，特殊之处在全流程使用国产算力集群，并以零计算专家实现 token 级动态激活。本章只讨论这一版。

6.1　LongCat-2.0

LongCat-2.0 于 2026 年 6 月 30 日发布，7 月 6 日开源（MIT），总参数 1.6T，每 token 平均激活约 48B（动态区间 33B～56B），上下文 1M token，预训练超过 30T token，稀疏度约 97%；是首个在五万卡国产算力集群上完成从预训练到推理全流程的万亿模型[19][20]。

结构上引入三项设计。LSA（LongCat Sparse Attention）对长文本不再逐 token 扫描，而是筛选关键信息，把计算量从平方级降至线性级，1M 上下文下仍能保持信息定位；推理侧配套 absorb 计算模式、Indexer 与 MLA prolog 并行、KVP 切分 KV Cache。N-gram Embedding 提升 token 级表示能力与参数利用率。零计算专家加 ScMoE 实现 token 级动态激活：简单 token（如变量名）不消耗专家算力，复杂 token（如递归推导）自动获得更多计算资源；路由到零专家的 token 真正跳过传输与计算，Dense 与 MoE 分支则利用国产芯片的控核能力作物理核心级并行。后训练以 MOPD 多专家融合组织：Agent、Reasoning、Interaction 三组专家分别专攻工具调用与自主纠错、数学与 STEM 推理、指令遵循与交互体验，推理时由门控网络按任务类型动态调度，结构如图 6-1 所示。

图 6-1　LongCat-2.0 的 MOPD 多专家融合架构：三组领域专家经多教师同策略蒸馏融为统一模型。图源：美团技术团队官方发布 [19]

国产算力路径是这一版最直接的约束：针对显存与带宽受限的国产芯片，团队以 Super Kernel 减算子、权重预取隐藏 I/O、PD 分离、异步 EP 负载均衡等手段，把万亿模型跑进存量卡。此外，动态激活区间 33B～56B 意味着每 token 的计算量本身成为变量，负载不均从批间问题变成 token 间问题，调度器与互联都要按此设计。

第 7 章　GLM 系列

GLM 的 5 与 5.2 两代连续沿用 DSA 稀疏注意力，规模同为 744B/40B。差别主要在上下文长度与索引器复用：5.2 以 IndexShare 把索引器开销摊到多层，并把上下文扩到 1M。

7.1　GLM-5

GLM-5 于 2026 年 2 月发布（MIT 协议），把 GLM-4.5 的 355B/32B 扩展到 744B 总参、40B 激活，预训练数据由 23T 增至 28.5T token，面向复杂系统工程与长程 Agent 任务[21]。结构示意见图 7-1。

GLM-5 采用更深更窄的 MoE 布局（约 80 层、256 个专家），并在注意力中直接引入 DeepSeek 的 DSA 稀疏注意力，在保留长上下文能力的同时压低部署成本；这是第三方旗舰首次整体采纳 2.2 节所述的稀疏注意力路线。训练侧另有两项改动：Muon Split 使 MLA 达到 GQA-8 的性能水平（以 20B token 追平 DeepSeek 943.7B token 的对照效果），可见注意力结构与优化器的耦合在加深；slime 异步 RL 基础设施支撑了细粒度的后训练迭代。上下文为 202K。

图 7-1　GLM-5 结构示意图：更深更窄的 MoE 主干与 DSA 稀疏注意力。图源：据官方发布信息绘制（官方未公开原始架构图）

与前代 355B/32B 相比，容量增长主要由专家数承担，激活参数只增加 8B；DSA 的引入则把索引器开销带进了原本没有这一部件的注意力栈。

7.2　GLM-5.2

GLM-5.2 于 2026 年 6 月发布（MIT），在 744B/40B 的规模上把上下文做到 1M token，并公开了较完整的结构细节[22][23]。官方架构图见图 7-2。

主体为 78 层（前 3 层稠密 MLP、中间维 12288，其余 75 层 MoE），隐藏维 6144，词表 154,880；MoE 为 256 个路由专家（top-8）加 1 个共享专家，专家中间维 2048，采用 sigmoid 无辅助损失偏置路由（noaux_tc bias）、归一化 top-k，路由缩放 2.5，不使用组限制路由。注意力为 MLA + DSA + IndexShare：MLA 参数为 q 低秩 2048、kv 低秩 512、64 头（无 GQA），qk 无位置 192 + RoPE 64（qk 头维 256）、v 头维 256；Lightning Indexer（32 头、头维 128、FP8）对原始位置打分，取 top-2048 因果 key。IndexShare 的关键在索引器分层复用：仅 22 个 full 层（前 3 层与此后每 4 层）持有索引器，其余 shared 层直接复用前一 full 层的 top-k 索引，单 token 索引器开销降至约 1/2.9，1M 上下文下每 token FLOPs 相应降低 2.9 倍；模型自中期训练（128K 序列长度）起即带着 IndexShare 训练，而非事后附加。位置编码方面，RoPE θ 提高到 8×10⁶，最大位置 1,048,576，无需 YaRN 外推。MTP 为 1 层，同样应用 IndexShare 与 KVShare 以消除多步草稿的训练与推理不一致，配合拒绝采样与端到端 TV 损失，平均接受长度由 4.56 提升至 5.47（+20%）。

图 7-2　GLM-5.2 的 IndexShare 架构：每 4 个稀疏注意力层共享 1 个索引器，其 top-k 索引复用于后续 3 层。图源：智谱官方博客架构图 [22]

IndexShare 针对的是稀疏注意力的一项实际代价：索引器若仍是每层全量开销，稀疏化的收益便被抵消；算一次、用四层，是把收益兑现出来的工程做法。1M 上下文下，推理瓶颈也由计算移到 KV Cache 容量与长上下文 kernel 开销。

第 8 章　MiniMax 系列

MiniMax M3 与 M3.1 Flash 共用 428B/23B 的主干，差别在稀疏注意力的覆盖层数、数值格式与投机解码模块。两版均以 MSA（MiniMax Sparse Attention）为核心。

8.1　MiniMax M3 与 M3.1 Flash

M3 于 2026 年 6 月 1 日发布，M3.1 Flash 于同年 10 月 19 日发布，两者同为 428B 总参、23B 激活，上下文 1M token，原生多模态（文本、图像、视频输入）[24][25][26]。MSA 的官方架构图见图 8-1，两版的结构对比见表 8-1。

表 8-1　MiniMax M3 与 M3.1 Flash 的结构对比

MSA 的选择粒度落在块上：索引器（4 个索引头，与 4 个 KV 头对齐）对 128 token 的行块打分，每个 KV 头取 top-16 块（自身块必含），位置 2048 以内退化为精确稠密注意力。算子形态为 KV outer gather Q，以 KV 块为外层循环聚合命中的查询，每块只读一次、访存连续，比开源 Flash-Sparse-Attention、flash-moba 快 4 倍以上。由此，1M 上下文下每 token 计算量降至上一代的 1/20，预填充提速 9 倍以上、解码 15 倍以上，多组消融显示能力与全注意力基本持平。M3.1 Flash 在此基础上作了三处改动：MSA 全层化（前 3 个全注意力层也换成稀疏）、量化感知训练（NVFP4 打包专家权重 + MXFP8 动态激活）、以 DSpark 投机解码草稿头取代 MTP；线上推理达 200+ TPS，成本较 M3 下降约 70%。视觉侧为 CLIP 式视觉塔（32 层，patch 14，3D-RoPE，动态分辨率 + patch-merge 压缩）。

图 8-1　MiniMax M3 的 MSA（MiniMax Sparse Attention）架构。图源：MiniMax 官方博客 [24]

MSA 的稀疏化收益能否兑现，取决于 kernel 的算术强度与访存连续性，而不单在选择了多少 token。M3.1 Flash 的 QAT 加 NVFP4 则表明，训练阶段即按部署数值格式设计已渐成常法。

第 9 章　Mistral 系列

Mistral 的 Large 系列两代相隔约一年，规模由 675B/41B 增至约 1T/49B，注意力由常规稀疏 MoE 转为 MLA 配索引器稀疏。两代都随权重提供量化检查点。

9.1　Mistral Large 3

Mistral Large 3 于 2025 年 12 月 2 日发布（Apache 2.0），是 Mistral 自 Mixtral 以来的首个 MoE 旗舰：总参数 675B、激活 41B，上下文 256K，支持文本与图像输入，在 3000 张 NVIDIA H200 上从零训练[27]。结构示意见图 9-1。

作为稀疏 MoE，Large 3 单次前向仅激活 41B，同能力下每 token 成本约为同规模稠密模型的一半（官方 API 定价约为 GPT-5.1 的一半）。模型具备图像理解与多语言能力，同时发布 base 与 instruct 版本。发布物中包含 NVFP4 检查点（由 llm-compressor 构建），单节点 8×A100/H100 即可经 vLLM 运行；NVIDIA 协同提供 Blackwell 注意力与 MoE kernel、预填充/解码分离与投机解码支持。

图 9-1　Mistral Large 3 结构示意图：675B/41B 稀疏 MoE 与图像输入通路。图源：据官方发布信息绘制（官方未公开原始架构图）

675B 级 MoE 可在单节点 8 卡部署，把旗舰模型的硬件门槛降到这一档；量化检查点随权重一同发布，也不再是事后的补充。

9.2　Mistral Large 4

Mistral Large 4（代号 Le Chonk）于 2026 年 10 月 6 日预览、10 月 29 日开放权重，总参数约 1T（文档作 1.05T）、每 token 激活 49B（含嵌入与输出层为 52B），上下文 1M token，在 Mistral 欧洲自建数据中心以 3800 张 NVIDIA Grace Blackwell 从零训练，是西方首个万亿级开源权重模型[28][29]。表 9-1 对比两代 Large 的主要规格，图 9-2 给出技术报告中的注意力结构图。

表 9-1　Mistral Large 3 与 Large 4 主要规格对比

与 DeepSeek V4.1 的 CED、Kimi K3 的 KDA 不同，Large 4 沿用 MLA 加索引器稀疏的路线，并把 DSpark 投机解码草稿头随权重一并发布，投机解码由此从推理框架的特性变为模型自带的能力。部署方面，FP8 官方配方为 8×H200（服务至 131K 上下文），NVFP4 为 4×B200/B300，AMD MI350 重量化后 4 卡可跑；模型原生支持 160 余种语言，覆盖欧盟全部官方语言。

图 9-2　Mistral Large 4 技术报告中的注意力结构图：CLA 与 YOCO 的注意力共享架构探索。图源：Mistral Large 4 技术报告 Figure 3 [28]

这套结构对加速器的要求更接近既有 MLA 实现，主要增量在索引器与 DSpark 草稿头的调度，而非另起一套注意力 kernel。

第 10 章　Meta Muse 系列

本章讨论 Meta Muse 系列中公开权重的 Muse Spark Open。与前述各系不同，其语言主干不作注意力稀疏化，改动集中在归一化、残差与专家结构。

10.1　Muse Spark Open

该模型于 2026 年 10 月 15 日发布，原生多模态（文本、图像、音频、视频输入），面向 Agentic Coding，官方称其为迄今最强的美国开源权重模型[30][31]。官方架构图见图 10-1，主要规格见表 10-1。

表 10-1　Muse Spark Open 主要规格

语言主干的注意力不作稀疏化（仅感知编码器稀疏），而以 GQA 128 Q/16 KV、头维 64 的小 KV 头组控制缓存；官方文档另披露 62 层中 46 层为 2048 token 滑窗注意力、16 层为全注意力，1M 上下文的实际 KV Cache 约为全注意力方案的四分之一。归一化采用三明治式布局，每个 block 前后各一次（x + post_norm(F(norm(x)))）。专家部分设逐专家 RMSNorm 与 pooler/unpooler：先降维（8192→4096）再进专家，专家输出各自归一化后按路由权重求和，最后升维，顺序不可调换。残差融合同样经可学习残差门，而非直接相加。专家占总参约 97%，全部 256 个专家须驻留显存，因此部署按 816B 模型的内存需求准备，单 token 计算量却只相当于 42B 模型。模型提供 BF16 与 NVFP4 双格式，NVFP4 版可单节点 B200 运行，也可在两台 M5 Ultra Mac Studio（各 512GB 统一内存、1.2 TB/s 带宽）上以 MLX 分布式运行，是首个把万亿档模型带到桌面级内存配置的实例；另附可自动调优的 Helion GPU kernel。

图 10-1　Muse Spark Open 架构：文本、图像/视频、音频各有编码通路，统一进入 62 层 MoE 语言主干。图源：Meta 与 Hugging Face 发布博客架构图 [30]

不追求注意力稀疏化，而以门控注意力、残差门、逐专家归一化等微结构提升稳定性，是与国产路线并行的另一种取舍。Apple Silicon 的统一内存能跑 816B 模型，也说明容量问题不必只靠显存解决：高带宽、大容量的内存池是另一条出路。

参考文献

[1] DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437, 2024.

[2] DeepSeek-AI. DeepSeek-V3.2 模型卡. https://fe-static.deepseek.com/chat/transparency/deepseek-v3.2-model-card-0414-CN.pdf

[3] DeepSeek-AI. DeepSeek-V3.2 Technical Report（DSA 架构）. https://github.com/deepseek-ai/DeepSeek-V3.2-Exp

[4] DeepSeek-AI. DeepSeek V4 模型卡. https://fe-static.deepseek.com/chat/transparency/deepseek-V4-model-card-CN_3c2bd9.pdf

[5] DeepSeek-V4 结构与训练解读. Fello AI. https://felloai.com/chatgpt-vs-deepseek-ultimate-2025-comparison-which-one-is-right-for-you/

[6] DeepSeek-AI. DeepSeek-V4.1-Flash Technical Report. https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash

[7] DeepSeek-AI. DeepSeek V4.1 Flash 发布页. https://www.deepseek.com/zh/news/deepseek-v4-1-flash/

[8] Qwen3.5 发布解读：混合注意力与极致稀疏 MoE. 腾讯新闻. https://view.inews.qq.com/a/20260216A064WX00

[9] Qwen3.5 多模态大模型架构与效率优化解析. IntelliParadigm. https://intelliparadigm.com/article/weixin_29031161/2144887

[10] 阿里巴巴集团. 阿里巴巴发布 Qwen3.8-Max. https://www.alibabagroup.com/document-2021044032125272064

[11] 通义千问 Qwen3.8-Max 旗舰模型解读. 阿里云开发者社区. https://developer.aliyun.com/article/1776948

[12] Qwen3.8-Flash-Next 模型卡与官方架构图（第三方整理）. Open LLM Radar. https://open-llm-radar.com/models/qwen38-flash-next

[13] Moonshot AI. Kimi-K2.5 Model Card. https://huggingface.co/moonshotai/Kimi-K2.5

[14] Moonshot AI. Kimi K3: Open Frontier Intelligence（技术报告）. https://www.kimi.ai/en/blog/kimi-k3

[15] Kimi K3 正式开源. 证券时报. https://stcn.com/article/detail/4044661.html

[16] Xiaomi MiMo. MiMo-V2.5 Model Card. https://huggingface.co/XiaomiMiMo/MiMo-V2.5

[17] Xiaomi MiMo. MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement（技术报告）. 2026.

[18] 小米 MiMo-V2.6 规模化强化学习路线解读. InfoQ. https://www.infoq.cn/news/gNdWoDM8ygkAjXfsLaBK

[19] 美团技术团队. 美团 LongCat-2.0 正式发布. https://tech.meituan.com/2026/06/30/LongCat2.0.html

[20] 美团. 美团 LongCat-2.0 开源. https://about.meituan.com/news/NN260706216009547

[21] Z.ai. GLM-5: From Vibe Coding to Agentic Engineering. https://z.ai/blog/glm-5

[22] Z.ai. GLM-5.2: Built for Long-Horizon Tasks. https://z.ai/blog/glm-5.2

[23] GLM-5 系列架构细节（IndexShare、DSA）. SemiAnalysis InferenceX. https://inferencex.semianalysis.com/model/glm-5-3

[24] MiniMax. MiniMax M3: Frontier Coding, 1M Context, Native Multimodality. https://www.minimax.io/blog/minimax-m3

[25] MiniMax-M3.1-Flash Model Card. Open LLM Radar. https://open-llm-radar.com/models/minimax-m31-flash

[26] MiniMax M3.1 Flash 评测. OmniaKey. https://omniakey.com/zh/blog/minimax-m3-1-flash-review

[27] Mistral AI. Introducing Mistral 3. https://mistral.ai/news/mistral-3/

[28] Mistral AI. Mistral Large 4 Technical Report. Hugging Face: mistralai/Mistral-Large-4-1T-A52B.

[29] Mistral Large 4 开放权重发布报道. EngineerPal. https://engineerpal.com/mistral-large-4-open-weights

[30] Meta 与 Hugging Face. Welcome Muse Spark Open. https://huggingface.co/blog/meta-muse-spark-open

[31] vLLM. Day 0 Support for Muse Spark Open. https://vllm-project.github.io/2026/10/15/muse-spark-open.html