2026-06-18-Redis作者反驳中国模型蒸馏论

近年来，人工智能领域最热门的话题之一就是大型语言模型。从OpenAI的ChatGPT到中国的文心一言、通义千问，各类大模型如雨后春笋般涌现。然而，围绕中国AI公司的质疑声从未停止，尤其是”模型蒸馏”这一指控，几乎每隔一段时间就会被外媒提起。特别是2025年初DeepSeek火爆全球后，关于”中国公司通过蒸馏OpenAI模型来训练自家产品”的论调甚嚣尘上。今天，我想从一个技术从业者的角度，和大家聊聊这个话题的真实面貌。

什么是模型蒸馏

要讨论这个争议，我们首先得搞清楚”模型蒸馏”到底是什么意思。用最通俗的话讲，模型蒸馏就像一个学生向老师学习的过程。想象你有一个非常厉害的老师，这个老师博学多才，什么题都会做。但是这个老师讲课的速度太快，内容太深奥，普通学生根本跟不上。于是学生们就想了一个办法：让老师做大量的习题，然后把老师的解题思路、解题步骤记录下来。学生通过学习这些”老师的思路”，虽然达不到老师那么厉害的水平，但也能在考试中取得不错的成绩。

在机器学习领域，这个”老师”通常是一个参数量巨大、计算能力强、效果优秀的大模型，比如GPT-4。而”学生”则是一个参数量较小、计算成本较低的模型。蒸馏的过程就是：用大模型生成大量的训练数据（题目和答案），然后用这些数据去训练小模型，让小模型学习大模型的”思维方式”。这种方法本身并不是什么见不得人的技术。事实上，这是机器学习领域一个非常成熟、被广泛使用的方法。Hinton等人在2015年就提出了这个概念。它是合法的技术手段，被全世界的AI公司普遍采用。所以，当我们讨论”蒸馏”时，首先需要区分两种情况。第一种是”知识蒸馏”，这是技术上的合法操作，任何公司都可以使用其他模型的输出来训练自己的模型，前提是合法获得数据。第二种是”违规蒸馏”或”模型窃取”，即通过API等方式大规模获取竞品模型的输出，用于训练直接对标的产品，同时违反服务条款。这才是有争议的行为。

蒸馏指控的真实情况

那么，针对中国公司的指控是否成立呢？我们具体分析一下。OpenAI在2024年声称，他们发现一些API用户可能违反了使用条款，可能涉及”蒸馏”行为，并表示会采取行动。这个声明虽然没有明确点名中国公司，但在当时的舆论环境下，被很多人解读为针对中国公司。从技术角度来说，任何公司都有可能通过API调用来获取OpenAI的输出。问题在于：他们用这些输出做什么？如果是用于研究、内部测试、评估，这通常是允许的；如果是用于训练直接竞争的产品，这就违反了OpenAI的服务条款。但是，我们必须看到几个重要事实。

第一，DeepSeek等公司在技术报告中明确说明了他们的训练方法。DeepSeek-V3的训练数据构成中，有相当一部分是公开的网络数据、合成的数据，以及少量的专业领域数据。他们并没有隐瞒自己的训练方法。第二，DeepSeek的创新并不仅仅在于最终模型，而在于训练方法本身。例如，他们使用的多头潜在注意力机制、DeepSeekMoE架构、FP8混合精度训练框架等，这些都是实实在在的工程创新。这些创新使得他们能够用相对较少的资源，训练出性能接近顶尖水平的模型。第三，即使用了一些大模型的输出来训练自己的模型，这在行业中也并不罕见。OpenAI自己早期也使用了大量互联网数据来训练GPT模型，而这些数据本身就包含了其他研究者的成果。整个行业都是建立在前人工作的基础上的。

中国大模型的真实创新

说到中国的大模型创新，很多人只看到了”跟随”的影子，而忽略了真实的创新。让我举几个具体的例子。首先是DeepSeek的MoE架构创新。传统的MoE模型虽然能扩大模型容量，但在推理时会激活所有专家，计算开销很大。DeepSeek的DeepSeekMoE架构采用了细粒度专家分割和共享专家隔离的策略，显著提高了专家的专门化程度和计算效率。这种架构上的创新，被国际同行广泛认可和借鉴。其次是Qwen系列模型的多语言能力。阿里达摩院的Qwen2.5在多个国际评测中表现优异，特别是在亚洲语言处理上展现了强大的能力，这是单纯依靠蒸馏难以实现的。再者是百度的ERNIE系列在知识增强方面的探索。百度通过将知识图谱与大模型结合，探索了一条不同于纯Transformer架构的路径。这种融合知识的方法，在某些垂直领域有独特的优势。还有智谱AI的GLM系列，清华大学背景的智谱在GLM架构上有自己独特的设计，其双语能力在国际上获得认可。另外，字节跳动的Seed系列、腾讯的混元大模型、华为的盘古大模型等，都在各自的方向上做出了有意义的探索。这些创新不是靠”蒸馏”就能得到的，它们需要深厚的理论基础、工程积累和对问题的独到理解。

中美AI差距的真实面貌

谈到中美AI差距，这是一个需要理性分析的问题。我认为差距是存在的，但远没有一些人想象的那么大，也不是简单的”中国落后美国X年”。在某些方面，中国确实落后。第一，顶尖基础模型的能力仍有差距。GPT-4o、Claude 3.5等模型在综合能力上仍然领先，尤其是在复杂的推理、创意写作、代码生成等任务上。第二，GPU等硬件资源的限制。由于美国对华芯片出口管制，中国公司难以获得最顶级的H100、B200等训练芯片，这直接影响了大模型的训练规模和速度。第三，基础研究的深度。虽然中国的论文数量已经超过美国，但在开创性的、定义领域的研究上仍有差距。但在另一些方面，中国已经赶上甚至领先。第一，应用场景的丰富度。中国庞大的互联网用户基础和多元化的应用场景，为AI落地提供了肥沃的土壤。从电商推荐到内容审核，从智能客服到自动驾驶，中国在AI应用层面已经走在世界前列。第二，开源生态的活力。DeepSeek、Qwen等中国模型在Hugging Face等开源平台上广受欢迎，下载量和社区活跃度都很高。Qwen2.5-72B曾长期占据多个榜单的开源模型第一。第三，垂直领域的深耕。在法律、医疗、教育等垂直领域，中国公司基于本土数据和场景的优化，往往比通用模型更适合本地需求。第四，推理优化的能力。DeepSeek在推理成本上的突破，使得大模型的部署成本大幅降低，这种工程能力是实打实的竞争力。

我的立场

作为一个技术从业者，我的立场是。关于蒸馏指控，我承认中国公司有可能在某些时候通过API获取了OpenAI等模型的输出用于训练，但这并不等同于”抄袭”或”窃取”。整个AI行业都建立在数据共享和技术交流的基础上，过于严格的指控只会阻碍创新。同时，任何违规行为都应该按照服务条款和相关法律处理，而非上升到”国家行为”或”产业政策”的高度。关于中国AI的真实水平，我坚决反对那种”中国AI全靠模仿”的说法。这种说法既不符合事实，也低估了中国技术人员的努力和智慧。从DeepSeek的架构创新，到Qwen的多语言能力，再到各家在垂直领域的深耕，中国AI已经形成了自己的技术体系和竞争优势。关于中美AI竞争，我认为这是一场长期的、多维度的竞争，不是简单的”谁领先谁”的问题。在某些前沿技术上，美国仍然领先；但在应用、落地、成本控制上，中国展现了强大的竞争力。未来的AI格局，更可能是多元共存、相互竞争的局面，而不是一家独大。

写在最后

AI技术的发展是一个全球性的进程。技术无国界，但应用有国界。我们应该关注的是如何推动技术进步、解决实际问题、应对AI带来的社会挑战，而不是陷入无意义的”指责战”中。中国AI产业要真正走向世界，需要的不是辩护，而是更多的原创性突破、更开放的国际合作、更健康的产业生态。我希望看到更多像DeepSeek这样的公司，用真正的技术实力赢得世界的尊重，而不是靠营销和话题。至于”蒸馏”这个话题，我的看法是：技术是中性的，关键看你怎么用。真正决定一个公司、一个国家AI水平的，不是它用了什么技术，而是它在技术之上做出了什么独特的贡献。在这场全球AI竞赛中，唯有创新才能赢得真正的尊重，唯有开放才能推动真正的进步。让我们拭目以待，看中国AI产业如何在未来的技术浪潮中书写自己的篇章。