要点:
DeepSeek通过创新的低成本训练方法，以不到600万美元的投入，成功研发出与OpenAI和Meta等巨头相媲美的开源AI模型，震撼了行业并缩短了中国AI与全球领先水平的差距。
科技正以前所未有的速度和规模发展，引发多个领域的变革，塑造了新的商业模式，甚至重塑了全新社会结构。我们一起，从科技创新中洞察社会转型和升级的机遇。
狂呼科技研究所聚焦科技创新对当今世界的影响，以独特、前瞻的科技视角，洞察科技时代下涌现的“创新革命”。
狂呼，以最具突破性的技术塑造我们的未来，为大众捕捉科技商业先机，探索当今人类社会面临的重大挑战。
联系我们// 相关文章
近期，中国人工智能公司DeepSeek在短短两个月内成功创建了一个有竞争力的大语言模型/LLM，成本仅不到600万美元，这与谷歌/Google、OpenAI和Meta等巨头在最新人工智能模型上花费数十亿美元形成鲜明对比。
DeepSeek的崛起源于5月，当时该公司发布了一款名为“DeepSeek V2”的开源模型，以极具竞争力的性价比震惊了业界，使DeepSeek迅速获得了“AI界黑马”的称号。而近期这一突破性的进展，更是令市场大为震惊。
DeepSeek：中国的“AI界黑马”
DeepSeek/杭州深度求索人工智能基础技术研究有限公司，由幻方量化于2023年4月创立。幻方量化是中国量化私募领域的重要企业之一，其管理规模曾一度超过千亿，目前仍维持在约600亿元。 DeepSeek是中国少数专注于AI大模型研究和技术的公司，也是唯一一家未全面考虑商业化，且尚未进行融资的公司。
幻方量化成立于2015年，凭借数学和人工智能技术进行量化投资，2016年首次将深度学习模型应用于实槃交易，并使用GPU进行计算，持续投入AI算法的研发。 2019年，幻方量化自主研发的深度学习训练平台“萤火一号”投入约2亿元，搭载1100块GPU。两年后，平台“萤火二号”的投资额达到10亿元，搭载了约1万块英伟达A100显卡。
在建设萤火集群的过程中，DeepSeek的前身逐渐成形。凭借幻方量化的支持，DeepSeek的首轮研发资金由幻方自主出资，并且拥有强大的“萤火超算”级别的算力支持。相较于中国大部分AI初创公司，DeepSeek在资金和硬件配置上的优势显而易见，成为除了互联网巨头外少数能够拥有超过1万张英伟达A100显卡的人工智能公司。
在硅谷，DeepSeek被誉为“来自东方的神秘力量”。 SemiAnalysis的首席分析师认为，DeepSeek V2的论文“可能是今年最出色的一篇”。而OpenAI前政策主管、Anthropic联合创始人则认为，DeepSeek“汇聚了一批深不可测的天才”，并预测中国制造的大模型将像无人机和电动汽车一样，成为全球不容忽视的重要力量。
高性能低成本：性能媲美GPT-4
近年来，尽管美国的制裁影响了中国AI硬体的可用性，DeepSeek团队仍在努力从有限的硬体资源中发挥最大性能，减轻对中国AI晶片供应造成的影响。该公司表示，其训练的人工智能AI模型能与OpenAI、Meta和Anthropic等重量级公司的领先模型相媲美，但在GPU运算量和成本上却减少了11倍。
DeepSeek在短短两个月内，利用包含2048个Nvidia/英伟达H800 GPU的集群，训练了拥有6710亿个参数的DeepSeek-V3 Mixture-of-Experts (MoE)语言模型，这一过程消耗了280万个GPU小时。相比之下，Meta使用包含16,384个H100 GPU的集群，在54天内训练了拥有4050亿参数的Llama 3，所需的运算量是DeepSeek的11倍（3080万个GPU小时）。
该公司利用由Nvidia H800 GPU组成的集群，H800 GPU是为中国市场特供的低配版，与其他Nvidia GPU相比，它在某些性能参数上有所降低，但仍然保持了强大的计算能力和高效的能源利用，适合中国市场的需求。每个GPU都配备了GPU间互连的NVLink和节点间通讯的InfiniBand互连。在这种设置中，GPU之间的通信相对快速，但节点间的通信较为缓慢，因此最佳化成为提升效能和效率的关键。
此外，DeepSeek使用DualPipe算法来重叠前向和后向微批次内部以及之间的计算和通信阶段，从而提高管道效率。具体来说，调度（将令牌分配给专家）和组合（聚合结果）操作是通过自定义的PTX（并行执行绪执行）指令与计算并行处理的，这意味着编写专门的低阶程式码来与Nvidia CUDA交互并优化其操作。
DeepSeek称，DualPipe算法极大地减少了训练过程中的瓶颈，特别是在MoE架构中，跨节点的专家并行性需求，这种优化使得集群在预训练阶段能够以几乎零通信开销处理14.8万亿个令牌。
除了实施DualPipe，DeepSeek采用了FP8混合精度框架，这不仅加速了运算，还减少了记忆体使用，且不影响数值稳定性。关键操作如矩阵乘法在FP8中进行，而对嵌入和归一化层等敏感组件则保留较高精度（BF16或FP32）以保证准确性。这种方法有效减少了记忆体需求，同时保持了稳定的准确度，训练损失误差始终低于0.25%。
以上使得，DeepSeek在性能方面，示其DeepSeek-V3 MoE语言模型在多项基准测试中与GPT-4x、Claude-3.5-Sonnet和Llama-3.1相当，甚至更优。
但更值得关注，DeepSeek仅花600万美元不到的成本，与科技巨头花费数十亿美元形成鲜明对比
2024年5月6日，DeepSeek发布了第二代MoE模型DeepSeek-V2，并在架构层面进行了创新。 DeepSeek选择了逆向路径，从“0→1”出发，提出了一种全新的MLA/多头潜在注意力架构。该架构将显存占用降至过去最常用MHA架构的5%至13%。
在预训练阶段，DeepSeek-V3的训练仅需180K H800 GPU小时，换算成2048个H800 GPU的集群，约为3.7天完成。因此，整个预训练过程在不到两个月的时间内顺利完成，总成本为2664K GPU小时。加上119K GPU小时的上下文扩展和5K GPU小时的后训练，DeepSeek-V3的完整训练成本仅为2.788M GPU小时。假设每小时H800 GPU的租金为2美元，整体训练成本约为557万美元。值得注意的是，这些费用仅包括DeepSeek-V3的正式训练，不包含架构、算法或数据研究及优化实验的成本。
DeepSeek对其V3模型进行了全面基准测试，尽管其训练成本较低，DeepSeek-V3-Base依然被评为目前最强大的开源基础模型，尤其在代码生成和数学运算方面表现突出。其聊天版本也在众多开源模型中脱颖而出，表现与GPT-4o、Claude-3.5-Sonnet等顶尖闭源模型相媲美。
不久前，Anthropic的CEO达里奥·阿莫迪曾透露，像GPT-4o这样的模型训练成本高达1亿美元，而正在开发的AI大模型训练成本可能攀升至10亿美元，未来三年内，训练成本可能达到100亿美元甚至1000亿美元。然而，DeepSeek仅用550万美元和2000张GPU卡训练出的开源模型，已经能够与OpenAI投入几亿美元训练的模型相媲美。
因此，DeepSeek再次被誉为“中国之光”，其在预训练、推理阶段的技术创新及测试性能，已成为一个重要的行业标杆。在算力不再是唯一决定性因素的“o1”时代，中国的模型开发者正迎来更多的机会。
DeepSeek挑战AI行业传统：改变烧钱“内卷”模式
如今，DeepSeek在业内产生了广泛关注，也让行业内的人们开始重新思考：目前现有的烧钱“内卷式”大模型开发路径已不再是最佳选择？是否可以从另一个角度、以更加务实和具有成本效益的方式，推动技术的突破？
DeepSeek以不到十分之一的成本达到了大规模语言模型所能实现的目标，其成功的做法为全球AI研发提供了一个崭新的参考。这种“低成本高效益”的创新模式，无疑将影响市场对算力和训练成本的重新评估，并挑战现有的大公司垄断格局。
有声音认为，如果像OpenAI这样的公司开始效仿DeepSeek的做法，不仅会导致当前大规模AI芯片的烧钱模式发生根本性变化，还可能对金融市场的预期和投资策略带来重大影响。
作为投资者，理解并把握这种技术创新所带来的风险与机遇，显得尤为重要<br data-mce-fragment="1">目前，对于金融市场已经反映其股价的相关科技巨头公司而言，DeepSeek等创新性公司的崛起意味着，他们此前在AI研发上投入的巨额成本可能面临被替代的风险。例如，以前曾认为达到某种目标，需要10张AI芯片才能做到，现在DeepSeek现在证明，仅需1张则可达到相同效果。这种“低成本高效益”的创新方式，对于依赖巨额资本投入的传统科技公司来说，这种现象无疑促使他们重新审视自身的技术路线和商业模式，是否还可以通过更具性价比的方式实现技术突破。
对于目前股价处于高位的AI科技巨头公司而言，DeepSeek所带来的冲击不容小觑。随着技术和商业模式的变化，股东和投资者将不得不重新评估这些公司的长期盈利模式和增长潜力。假如类似DeepSeek这样的小公司逐渐崭露头角，且能够以更低成本实现与大公司同等甚至更优的技术水平，那么这些科技巨头的市场地位可能会面临挑战。投资者需要在这种技术变革中保持敏锐的洞察力，审慎评估现有公司的竞争力，以及是否能够有效应对新的技术创新浪潮。
在如此动荡的金融市场中，你会选择怎样投资？
一起深入了解资深投资者的交易策略。在投入股市之前，多认识金融市场，才可提高投资回报率。关注狂呼"思钱想后"栏目，紧密跟踪股市走势，寻找更多投资机会。
点击此处了解更多
投资不仅仅是为了创造财富，更是一种洞察宏观经济的态度，见证社会演变与科技发展。我们一起，从大变局中看清发展趋势，希望从不确定中找到确定。
狂呼金融研究所聚焦于新的社会发展形势下，金融与经济对当今世界日益凸显的影响。以全面、理性的投资视角，洞察分析每一个趋势与机会，为广大投资者创造更高质量、更独特的金融投资观点。
狂呼，比一部分人更快、更准地看清市场，让大众洞察金融经济的核心。
联系我们// 相关文章
