Bạn đã bao giờ tự hỏi làm thế nào chatbot của chúng tôi có thể trả lời trong vài giây mà không cần máy chủ trung tâm chưa?

Nó chạy trên Swarm của Parallax: một mạng lưới hoàn toàn phi tập trung, nơi lời nhắc của bạn được mã hóa, phân đoạn và định tuyến qua các node chứa các mảnh model.

Mỗi node thực thi các layer LLM được chỉ định của nó, chuyển các trạng thái ẩn về phía trước cho đến khi quá trình suy luận hoàn tất.

Các node tối ưu được chọn dựa trên tính khả dụng, khả năng tính toán và độ trễ. Sự phối hợp diễn ra ngang hàng thông qua DHT, cho phép định tuyến hiệu quả, tự phục hồi và khả năng chịu lỗi.

Suy luận phi tập trung đúng như bản chất của nó.