Presentamos la inferencia de LLM verificable y distribuida en Theta EdgeCloud: Combinando las fortalezas de la IA…
Presentamos la inferencia de LLM verificable distribuida en $Theta EdgeCloud: Combinando las fortalezas de la IA y la Blockchain
Nos complace anunciar la nueva función de $Theta EdgeCloud: un servicio de inferencia de modelo de lenguaje grande (LLM) con verificabilidad distribuida. Esta nueva función permitirá que los chatbot y los agentes de AI realicen inferencias de LLM confiables e independientemente verificables, impulsadas por balizas de aleatoriedad pública respaldadas por blockchain, por primera vez en la industria. Esta es una tecnología única que combina las fortalezas de la AI de vanguardia y la naturaleza descentralizada y sin confianza de la blockchain.
Con esta implementación, EdgeCloud es la primera y única plataforma en ofrecer inferencia de LLM sin confianza para todos, tanto entre las plataformas nativas de crypto como las plataformas de nube tradicionales. Para las necesidades computacionales sensibles en empresas, la academia y otros sectores verticales, EdgeCloud es la única solución en la nube que puede garantizar la integridad de los resultados de LLM.
La idea
Los agentes de AI modernos dependen en gran medida de los LLM para generar respuestas y realizar tareas complejas. ¿Pero realmente puedes confiar en el resultado? Hoy en día, la mayoría de los marcos de agentes se basan en las API de LLM centralizadas (por ejemplo, OpenAI) o en la seguridad impuesta por hardware como los TEE (Entornos de ejecución confiables). Estas soluciones depositan la confianza en un proveedor centralizado o en un software de código cerrado, que podría alterar o fabricar resultados.
El reciente lanzamiento de DeepSeek-V3/R1, la primera alternativa de código abierto verdaderamente competitiva a los LLM propietarios, abre la puerta a la verificación de pila completa. Este avance permite a las comunidades comenzar a alejarse de las API de AI opacas hacia flujos de trabajo de inferencia transparentes e inspeccionables.
Basándonos en estos avances, diseñamos e implementamos un sistema de Inferencia Verificable Distribuida que garantiza que los resultados de LLM sean reproducibles y a prueba de manipulaciones, incluso por el proveedor de servicios (como $Theta Labs para EdgeCloud). Al combinar modelos de AI de código abierto, computación descentralizada y verificabilidad basada en blockchain, estamos construyendo una base de confianza para la próxima generación de agentes de AI.
Nuestra solución
Estamos lanzando el primer motor de inferencia de LLM verificable de grado industrial, integrado directamente en $Theta EdgeCloud. Así es como logra la disponibilidad pública:
- Probabilidad de Token Determinista: El LLM calcula la distribución de probabilidad del siguiente token dado un prompt. Dado que estamos utilizando modelos de código abierto (por ejemplo, DeepSeek R1), cualquiera puede verificar este paso ejecutando el modelo localmente o en otro nodo de confianza.
- Muestreo Verificable: El muestreo del siguiente token suele ser un proceso no determinista. Para que sea verificable, utilizamos una semilla aleatoria públicamente verificable, inspirada en protocolos como RanDAO de Ethereum. Con esta semilla, el muestreo se vuelve pseudoaleatorio y totalmente reproducible. El resultado final puede ser validado independientemente por cualquier observador.
Este diseño de dos partes asegura que cualquiera pueda usar la aleatoriedad pública para verificar el resultado del LLM dado un input. Por lo tanto, ninguna de las partes, incluido el servicio de alojamiento de LLM, puede manipular el resultado del modelo, lo que proporciona fuertes garantías de integridad.
Para implementar esta solución, mejoramos vLLM, uno de los motores de inferencia de LLM de grado industrial más populares, y lo equipamos con componentes adicionales para admitir la verificabilidad pública. Hemos empaquetado la implementación en una imagen de contenedor docker y la publicamos públicamente en nuestra cuenta de DockerHub:
https://hub.docker.com/repository/docker/thetalabsofficial/vllm-theta
También hemos actualizado nuestra plantilla estándar para el modelo "DeepSeek R1 / Distill-Qwen-7B" disponible en Theta EdgeCloud dedicated model launchpad para usar la imagen de contenedor anterior de forma predeterminada:
Usando esta imagen de contenedor, el resultado de la inferencia de LLM incluirá la siguiente sección adicional que contiene la aleatoriedad pública extraída de la $Theta Blockchain, lo que permite a los usuarios verificar el resultado del LLM para el prompt dado.
{
…
“theta_verified”: {
“seed”: 2825676771,
“verification_hash”: “aec8beec3306dddb9b9bad32cb90831d0d04132e57b318ebce64fb0f77208cdc”,
“sampling_params”: {
“seed”: 2825676771,
…
},
“block”: {
“hash”: “0xd8ba61b261ddda55520301ee23846a547615c60d29c1c4a893779ba0d53f0656”,
“height”: “30168742”,
“timestamp”: “1749770570”
}
}
Publicación On-Chain (Opcional)
Para los casos de uso de mayor riesgo, prevemos la publicación de metadatos de inferencia (prompt, distribución, semilla aleatoria, resultado) on-chain, donde puede ser atestiguada por guardianes o testigos descentralizados. Esto abre la puerta a servicios de AI auditables y sin confianza, con posibles integraciones en herramientas de DAO, agentes autónomos y motores de riesgo de DeFi.
El futuro de la AI es verificable
A medida que los agentes de AI se vuelven más autónomos y la toma de decisiones pasa de los humanos a las máquinas, la confianza en la capa de inferencia de LLM se vuelve fundamental. Con estos agentes de AI integrados en todas las facetas de nuestra vida diaria y el comercio, la capacidad de verificar y confiar en sus resultados y acciones será fundamental para la seguridad y la integridad financiera. Nuestro servicio recién lanzado aporta una capa muy necesaria de transparencia, auditabilidad y seguridad a estos flujos de trabajo de AI. Con el poder de $Theta Blockchain/EdgeCloud y la innovación de código abierto, estamos liderando el camino para hacer que la AI no solo sea poderosa, sino demostrablemente confiable.
Introducing Distributed Verifiable LLM Inference on Theta EdgeCloud: Combining the Strengths of AI… fue publicado originalmente en Theta Network en Medium, donde la gente continúa la conversación destacando y respondiendo a esta historia.