Pluralis 本周在 ICML 上发表了一篇主要的技术论文，团队目前在温哥华举办多个活动。其中最好的是我们与 @gensynai 和 @akashnet_ 周四晚上联合举办的开源交流会。对于任何对去中心化训练感兴趣的人来说，这应该是一个美好的夜晚。
https://t.co/7fR7PYGWeS

我们已接受的论文 (https://t.co/nRazOHBgKJ) 的代码是完全开源的——我们发现这种方法在我们许多内部实验中都很有用，并且我们认为它对其他人也会有用。https://t.co/X93ovivvEi

这项工作是第一个允许在 Pipeline Parallel 设置中进行完全异步训练的方法，其收敛速度与同步方法相当（论文中有一个次线性速率的证明），同时消除了设备上的任何空闲时间。这意味着训练速度更快。这在去中心化的情况下影响很大，因为通信速度慢，空闲时间会被放大。

另外提醒一下，Protocol Models 论文的实时运行即将开始——我们收到的兴趣远超出了我们在第一次运行中所能容纳的范围，但是我们将根据注册信息的完整性优先考虑加入者（有关注册表，请参见置顶推文）。