Prime Intellect lanza vista previa de la pila de razonamiento descentralizado

Foresight News informa que el protocolo descentralizado de IA Prime Intellect ha lanzado una vista previa de su pila de inferencia. La pila de inferencia tiene como objetivo abordar desafíos en la utilización computacional durante la decodificación autorregresiva, los cuellos de botella en la memoria caché KV y los problemas de latencia en redes públicas. Emplea un diseño de paralelismo en pipeline, soportando alta densidad computacional y ejecución asíncrona. Además, Prime Intellect ha lanzado tres bases de código de código abierto: PRIME-IROH (backend de comunicación peer-to-peer), PRIME-VLLM (integración vLLM que soporta paralelismo en pipeline en redes públicas) y PRIME-PIPELINE (sandbox para investigación). Los usuarios pueden ejecutar modelos grandes utilizando GPUs como la 3090 y la 4090.