DeepSeek架构对比图解

{“type”：“并排AI架构比较信息图”，“style”：“干净的技术图，白色背景，细黑色轮廓，圆角矩形，虚线标注框，颜色编码高亮，演示幻灯片美学，矢量信息图”，“canvas”：{“aspect_ratio”：“2：1”，“分辨率”：宽水平“}，”title_row“：{”left_title“：”DeepSeek V3/R1（6710亿）“，”right_title“：”DeepSeek V4（1.2万亿）“，”left_title_color“：鲜艳橙红色，”right_title_color“：“bright blue”}，“layout”：{“columns”：2，“sections”：[{“title”：“DeepSeek V3/R1 （6710亿）”，“position”：left half“，”count“：9，”labels“：[”词汇量129k“，”FeedForward（SwiGLU）模块“，”中间隐藏层维度为2,048“，”MoE层“，”支持上下文长度为128k令牌“，”前3块使用隐藏大小为18,432的密集FFN，而非MoE“，”示例输入文本“，”嵌入维度为7,168“，“128个头”]}，{“title”：“DeepSeek V4 （1.2万亿）”，“position”：右半“，”count“：9，”labels“：[”词汇量160k“，”FeedForward（SwiGLU）模块“，”中间隐藏层维度为3,072“，”MoE层“，”支持上下文长度为256k标记“，”前3个块使用隐藏大小为24,576的密集FFN，而非MoE“，”示例输入文本“，”嵌入维度为8,192“，”128个头“]}，{“title”：“底部比较表”，“position”：底部全宽“，”count“：10，”labels“：[”总参数“，”每个token的激活参数“，”隐藏大小“，”Esmple dimesiegn“，”DeepSeek V3/R1“，”Intermediate （FF）“，”注意首页“，”上下文长度“，”嵌入维度“，”词汇大小“]}]}，”left_panel“：{”background“：非常浅的灰色圆角矩形”，“main_stack”：{“count”：8，“blocks”：[“分词化文本”，“令牌嵌入层”，“RMSNorm 1”，“多词头潜在注意力”，“RMSNorm 2”，“MoE”，“最终RMSNorm”，“线性输出层”]}，“side_module”：“RoPE 附加于左侧注意块”，“attention_block”：{“label”：多头潜在注意力“，”accent“：”Latent“一词的橙红色文字}，”feedforward_inset“：{”title“：”FeedForward （SwiGLU） module“，”count“：4，”blocks“：[”线性层“，”SiLU激活“，”线性层“，”线性层“]，”diagram“：两个分支乘以再投影”}，“moe_inset”：{“title”：“MoE layer”，“count”：5，“blocks”：[“顶层联合节点”，“Feed forward”，“Feed forward”，“Router”，“专家计数徽章 256”]，“details”：小黑方块，选中1个专家，箭头向上延伸至专家，虚线分隔线“}，”annotations“：{”vocab“：词汇量129k”，“ff_dim”：“中间隐藏层维度为2,048”，“context”：“支持上下文长度为128k代币”，“dense_first_blocks”：“前三个区块使用隐藏规模为18,432的密集FFN代替MoE”，“resource_savings”：“资源节省：模型规模为671B，但每个代币仅有1名（共享）+ 8名专家活跃;每推理步骤仅激活37B参数“，”bottom_stats“：{”count“：10，”items“：[”总参数：671B“，”每个token的活跃参数：37B（1+8专家）“，”隐藏大小：7,128“，”Esmple dimesiegn：28,432“，”中级（FF）：2,048“，”注意点：128“，”上下文长度：128k“，”嵌入维度：前3块“，”上下文长度：22G7“，”词汇大小：129k“]}}，”right_panel“：{”背景“：”非常浅蓝色圆角矩形“，“main_stack”：{“count”：8，“blocks”：[“标记化文本”，“令牌嵌入层”，“RMSNorm 1”，“多头潜在注意力”，“RMSNorm 2”，“MoE”，“最终RMSNorm”，“线性输出层”]}，“side_module”：“RoPE 附加于左侧注意块”，“attention_block”：{“label”：多头潜在注意力“，”accent“：”Latent“，”feedforward_inset“：{”title“：FeedForward （SwiGLU） 模块”，“count”：4，“blocks”：[“线性层”，“SiLU激活”，“线性层”，“线性层”]，“图表”：与左面板结构相同“}，”moe_inset“：{”title“：”MoE 层“，”count“：5，”blocks“：[”顶端联合节点“，”前馈“，”前进“，”路由器“，”专家计数徽章384“]，”详情“：小黑方块，选中1位专家，箭头向上延伸至专家，虚线分隔线，蓝色边框强调”}，“注释”：{“词汇”：“词汇量为160k”，“ff_dim”：“中间隐藏层维度为3,072”，“context”：“支持上下文长度为256k代币”，“dense_first_blocks”：“前3块使用隐藏规模为24,576的密集FFN代替MoE”，“resource_savings”：“资源节省：模型规模为1.2T，但每个代币仅有1名（共享）+ 8名专家活跃;每推理步骤仅激活52B参数“}，”bottom_stats“：{”count“：10，”items“：[”总参数：1.2T“，”每个token激活参数：52B（1+8专家）“，”隐藏大小：7,2B“，”Esmple dimesiegn：28,432“，”Intermediate （FF）：3,072“，”注意点：128“，”上下文长度：256k“，”嵌入维度：前3块“，”上下文长度：22G7“，”词汇大小：160k“]}}，”global_notes“：”创建带有镜像布局的高度详细变换器架构比较图。每半部分包含一个大型模型栈图和两个嵌入图：1个前馈模块和1个MoE层。用区块间的箭头、微小的技术标签，以及从标签到相关部件的连接线。保持字体密集且类似幻灯片，所有V3/R1强调使用橙红色，V4强调部分使用蓝色。在宽度上包含一小行紧凑的表格度量。保持略显不完美的人为信息图风格，文字非常小，注释拥挤。”