DeepSeek在開源周第四天發佈了一系列優化的並行策略,包括雙管道(雙向管道並行算法,優化V3/R1訓練中的計算-通信重疊)、EPLB(專家並行負載均衡器,提高計算資源分配效率)以及計算-通信重疊分析工具,以幫助優化訓練性能。