DeepSeek在开源周第四天发布了一系列优化的并行策略,包括双管道(双向管道并行算法,优化V3/R1训练中的计算-通信重叠)、EPLB(专家并行负载均衡器,提高计算资源分配效率)以及计算-通信重叠分析工具,以帮助优化训练性能。