Prime Intellect, Merkeziyetsiz Akıl Yürütme Stack'inin Önizlemesini Yayınladı

Foresight News, merkeziyetsiz yapay zeka protokolü Prime Intellect'in çıkarım yığını önizlemesini yayınladığını bildiriyor. Çıkarım yığını, otoregresif kodlama sırasında hesaplama kullanımı, KV önbellek bellek darboğazları ve genel ağ gecikmesi sorunlarındaki zorlukları ele almayı hedeflemektedir. Yüksek hesaplama yoğunluğunu ve eşzamansız yürütmeyi destekleyen bir pipeline paralel tasarım kullanmaktadır. Ayrıca, Prime Intellect üç açık kaynak kod tabanı yayınlamıştır: PRIME-IROH (eşler arası iletişim arka ucu), PRIME-VLLM (genel ağ pipeline paralellik destekleyen vLLM entegrasyonu) ve PRIME-PIPELINE (araştırma sandbox'u). Kullanıcılar 3090 ve 4090 gibi GPU'lar kullanarak büyük modelleri çalıştırabilirler.