Chúng tôi cũng đã thực hiện một video theo phong cách @3blue1brown giải thích bài báo ở cấp độ cao. https://t.co/7SspmcceQq

[{"shortUrl":"https://t.co/7SspmcceQq","type":"video"}]

Pluralis có một bài báo chính tại ICML tuần này và nhóm đang ở Vancouver để tổ chức một số sự kiện. Sự kiện tuyệt vời nhất sẽ là Open Source Mixer mà chúng tôi đang tổ chức với @gensynai và @akashnet_ vào tối thứ Năm. Dành cho bất kỳ ai quan tâm đến đào tạo phi tập trung, đây sẽ là một buổi tối tuyệt vời.
https://t.co/7fR7PYGWeS

Bài báo được chấp nhận của chúng tôi (https://t.co/nRazOHBgKJ) có mã hoàn toàn mở - chúng tôi thấy cách tiếp cận này hữu ích trong nhiều thử nghiệm nội bộ của mình và chúng tôi nghĩ nó sẽ hữu ích cho những người khác. https://t.co/X93ovivvEi

Công trình này là phương pháp đầu tiên cho phép đào tạo hoàn toàn không đồng bộ trong cài đặt Pipeline Parallel với tốc độ hội tụ tương đương với các phương pháp đồng bộ (có bằng chứng về tốc độ dưới tuyến tính trong bài báo), đồng thời loại bỏ mọi thời gian chờ trên các thiết bị. Điều này có nghĩa là quá trình đào tạo nhanh hơn. Nó có ảnh hưởng lớn trong trường hợp phi tập trung, nơi thời gian chờ được khuếch đại do tốc độ liên lạc chậm.

Ngoài ra, xin nhắc lại rằng phiên bản chạy trực tiếp của bài báo Protocol Models sẽ sớm bắt đầu - chúng tôi nhận được nhiều sự quan tâm hơn mức chúng tôi có thể đáp ứng trong lần chạy đầu tiên này, tuy nhiên, chúng tôi sẽ ưu tiên những người tham gia dựa trên tính đầy đủ của thông tin đã đăng ký (xem tweet được ghim để biết mẫu đăng ký).