Prime Intellectが分散型Reasoning Stackのプレビューを公開

Foresight Newsは、分散型AIプロトコルPrime Intellectがそのinference stackのプレビューをリリースしたと報じています。inference stackは、autoregressive decoding時の計算利用率の課題、KV cacheメモリのボトルネック、公衆ネットワークの遅延問題に対処することを目的としています。パイプラインパラレル設計を採用し、高い計算密度と非同期実行をサポートしています。さらに、Prime Intellectは3つのオープンソースコードベースを公開しました：PRIME-IROH（ピアツーピア通信バックエンド）、PRIME-VLLM（公衆ネットワークパイプラインパラレルをサポートするvLLM統合）、およびPRIME-PIPELINE（研究用サンドボックス）。ユーザーは3090や4090などのGPUを使用して大規模モデルを実行できます。