Nous avons également réalisé une vidéo de style @3blue1brown expliquant l'article à un niveau élevé. https://t.co/7SspmcceQq

[{"shortUrl":"https://t.co/7SspmcceQq","type":"video"}]

Pluralis a un article principal à l'ICML cette semaine et l'équipe est à Vancouver pour organiser plusieurs événements. Le meilleur sera le Open Source Mixer que nous organisons avec @gensynai et @akashnet_ jeudi soir. Pour tous ceux qui s'intéressent à l'entraînement décentralisé, ce devrait être une excellente soirée.
https://t.co/7fR7PYGWeS

Notre article accepté (https://t.co/nRazOHBgKJ) a le code entièrement ouvert - nous avons trouvé cette approche utile dans bon nombre de nos expériences internes, et nous pensons qu'elle sera utile à d'autres. https://t.co/X93ovivvEi

Ce travail est la première méthode permettant un entraînement entièrement asynchrone dans le contexte de Pipeline Parallel avec des taux de convergence comparables aux méthodes synchrones (il y a une preuve d'un taux sous-linéaire dans l'article), tout en supprimant tout temps d'inactivité sur les appareils. Cela signifie que l'entraînement est plus rapide. Cela a un effet important dans le cas décentralisé, où les temps d'inactivité sont amplifiés en raison de la lenteur des vitesses de communication.

Nous vous rappelons également que l'exécution en direct de l'article Protocol Models commencera bientôt - nous avons beaucoup plus d'intérêt que nous ne pouvons en accueillir lors de cette première exécution, mais nous donnerons la priorité aux participants en fonction de l'exhaustivité des informations enregistrées (voir le tweet épinglé pour le formulaire d'inscription).