Hiç merkezi bir sunucu olmadan sohbet robotumuzun saniyeler içinde nasıl yanıt verdiğini merak ettiniz mi?

Parallax'ın Swarm'ında çalışır: isteminizin token'laştırıldığı, bölümlere ayrıldığı ve model parçalarını tutan düğümler arasında yönlendirildiği tamamen merkeziyetsiz bir ağ.

Her düğüm, LLM'nin atanan katmanlarını yürütür ve tam çıkarım tamamlanana kadar gizli durumları ileriye doğru geçirir.

En uygun düğümler, kullanılabilirlik, işlem ve gecikme süresine göre seçilir. Koordinasyon, verimli yönlendirme, kendi kendini iyileştirme ve hata toleransı sağlayan bir DHT aracılığıyla eşler arası gerçekleşir.

Merkeziyetsiz çıkarım olması gerektiği gibi.