Prime Intellect 發佈去中心化推理堆棧預覽

Foresight News 消息，去中心化 AI 協議 Prime Intellect 發佈推理堆棧預覽。推理堆棧旨在解決自迴歸解碼中的計算利用率挑戰、KV 緩存內存瓶頸及公共網絡延遲問題。其採用管道並行設計，支持高計算密度和異步執行。同時 Prime Intellect 發佈三款開源代碼庫：PRIME-IROH（點對點通信後端）、PRIME-VLLM（支持公共網絡管道並行的 vLLM 集成）和 PRIME-PIPELINE（研究沙盒）。用戶可利用 3090/4090 等 GPU 運行大模型。