“DeepSeek-V3是在Mistral提出的架构上构建的。”欧洲版OpenAI首席执行官此话一出，顿时引发轩然大波。网友的反应就是：这还算客气的，更有甚者直接开骂：Mistral到底在胡言乱语些啥……还没了解情况的家人们别慌，我们从头理一遍这件事：在最近一期专访中，面对“如何评价中国开源AI的迅猛崛起”这一问题，Mistral联合创始人兼CEOArthurMensch作出如下回应：中国在人工智能领域的实力不容小觑。作为最早推出开源模型的企业之一，我们深知这一举措带来的优势，而他们也很快意识到这是一项极为有效的战略。开源并非真正意义上的竞争，而是在共同基础之上持续迭代与提升的过程。例如，我们在2024年初推出了首个稀疏混合专家模型（MoE）——DeepSeek-V3，后续版本均基于此进行开发。这些模型共享同一架构设计，并且我们已将复现该架构所需的全部内容开源。ArthurMensch表现得十分自信，但网友听后却纷纷表示：桥豆麻袋，这有点不对劲。且不说DeepSeekMoE论文的发布时间和ArthurMensch提到的Mixtral论文相差仅3天：仔细分析下来，这两种架构的构思其实并不一样。此外，此前有消息称，Mistral3Large的架构几乎完全沿用了DeepSeek-V3的设计……△图源：𝕏@SebastianRaschka数学公式凸显差异不管怎样，Mistral这番表态一出，严谨的网友第一时间还是习惯性地开始精准论证。两篇论文都已上线arXiv，随时可查，直接入手剖析。ArthurMensch指出的一个正确之处在于，这两篇相隔三天发表的论文，均聚焦于稀疏混合专家系统（SMoE），旨在通过稀疏激活机制减少计算开销，并增强模型性能。然而，它们的初衷便存在差异——Mixtral更侧重工程导向，核心在于验证具备强大基础模型能力与成熟MoE技术相结合，可达成超越更大规模稠密模型的性能表现。DeepSeek的核心聚焦于算法层面的突破。该论文旨在应对传统MoE架构中专家“学得过宽”与“存在冗余学习”的痛点，实质上是一次对MoE结构的深度重构。用数学公式表达，能更清晰地展现差异。Mixtral：DeepSeek：两者均采用GShard风格的Top-K路由机制，但DeepSeek对传统MoE架构中的门控策略与专家配置进行了调整。在专家的粒度与数量上，Mixtral采用了一贯的MoE架构，其中每位专家均为一个独立的完整前馈神经网络（FFN）模块。DeepSeek提出了一种细粒度专家分割策略，在不改变总体参数量的前提下，将大型专家拆分为多个小型专家。这种更细致的划分使得不同专家能够更加灵活地协同组合，进而提升知识学习的准确性。在路由机制方面，Mixtral中的各个专家享有同等地位，路由网络会依据输入情况动态选取合适的专家。DeepSeek引入了共享专家，该专家不参与路由决策，始终处于激活状态；而路由专家则需参与Top-K选择竞争。这导致Mixtral的知识分布呈现扁平化特征，通用知识与特定知识共同存在于同一专家中；相比之下，DeepSeek实现了解耦设计，由共享专家处理通用知识，路由专家则专门应对特定知识。有网友指出，MixtralofExperts这篇论文实际上并未披露任何训练细节，仅提及“我们采用了GoogleGShard架构，采用了更简单的路由，并且每一层都使用了MoE”，至于数据集信息、超参数设置、训练token数量、消融实验等内容，则完全未予说明。值得注意的是，尽管崔斯汀提出了一点看法，但2025年12月发布的Mistral3Large却被发现直接采用了DeepSeek-V3的架构。网友：这下真要开始写岁月史书了吗？并非否认Mistral在推动MoE方面的作用，但正如网友所说，不可忽视的是，DeepSeek在稀疏MoE、MLA等技术上的影响更为显著。因此，ArthurMensch的表现似乎有些“逆天”了：Mistral被曝采用DeepSeek的架构，如今正试图借由“岁月史书”来挽回声誉。还有网友感慨“屠龙者终成恶龙”，如今的Mistral已不再是从前惊艳开源大模型领域的那个Mistral了。反正空谈无益，接下来，围绕基础模型的角逐已预告精彩将持续上演。据爆料，DeepSeek已将目标锁定春节档……论文链接：Mixtral：https://arxiv.org/abs/2401.04088DeepSeek：https://arxiv.org/abs/2401.06066参考链接：[1]https://x.com/eliebakouch/status/2014575628675092845[2]https://x.com/gm8xx8/status/2014676490797842907

（作者：）

本文为文诸天大邪修小说原创作品，未经授权禁止转载！

本文所用图片，除特别注明外均来自网络搜索，如有侵权烦请联系作者删除，谢谢！