视听早报|  中原论道|  企业号| 政策| 招标| 人事| 会议| 专题
DeepSeek第二炸:开源首个用于MoE模型训练通信库
秋白| 快科技 | 2025-02-25
【流媒体网】摘要：DeepEP是首个用于 MoE 模型训练和推理的开源 EP 通信库，它填补了MoE模型专用通信工具的空白，为大规模分布式AI训练和实时推理场景提供了更高效的底层支持。

　　今天是DeepSeek开源周第二日，一早，DeepSeek如约就放出了开源代码库DeepEP王炸。

　　据了解，DeepEP是首个用于 MoE 模型训练和推理的开源 EP 通信库，它填补了MoE模型专用通信工具的空白，为大规模分布式AI训练和实时推理场景提供了更高效的底层支持。

　　在这里，简单介绍一下DeepEP的技术性能特点：

　　1、高效通信架构

　　支持优化的全对全通信模式，实现节点内和节点间的NVLink与RDMA互联，提升数据传输效率

　　2、多精度与调度优化

　　原生支持FP8低精度运算调度，降低计算资源消耗。

　　3、重性能内核

　　据介绍，高吞吐量内核可适用于训练和推理预填充场景，最大化数据处理能力；

　　4、低延迟内核

　　它针对推理解码场景设计，采用纯RDMA通信和自适应路由技术，减少延迟。

　　5、资源控制与重叠机制

　　通过灵活的GPU资源控制策略，实现计算与通信过程的高效重叠，避免资源闲置。

　　6、深度优化场景

　　针对NVLink到RDMA的非对称带宽转发场景进行专项优化，提升异构网络下的传输性能；

　　此外，它还支持SM（Streaming Multiprocessors）数量动态控制，平衡不同任务（如训练与推理）的吞吐量需求。

责任编辑：李楠

分享到：
版权声明：凡注明来源“流媒体网”的文章，版权均属流媒体网所有，转载需注明出处。非本站出处的文章为转载，观点供业内参考，不代表本站观点。文中图片均来源于网络收集整理，仅供学习交流，版权归原作者所有。如涉及侵权，请及时联系我们删除!

24小时热文

流 • 视界

专栏文章更多