**Lectura, Indexación para el Análisis: Una Breve Visión General de la Ruta de Indexación de Datos Web3**
Este artículo explora la historia del desarrollo de la accesibilidad a los datos de blockchain, comparando las características de tres protocolos de servicio de datos: The Graph, Chainbase y Space and Time en términos de arquitectura y aplicación de tecnología AI. Señala que los servicios de datos de blockchain están evolucionando hacia la inteligencia y la seguridad, y continuarán desempeñando un papel importante como infraestructura industrial en el futuro.
¡No dudes en apoyarnos con un clic! 🫡
1. **Introducción**
Desde la primera ola de dApps como Etheroll, ETHLend y CryptoKitties en 2017, hasta el florecimiento de diversas dApps financieras, de juegos y sociales basadas en diferentes blockchains hoy en día, ¿alguna vez hemos considerado las fuentes de los diversos datos que estas dApps adoptan durante las interacciones al discutir aplicaciones descentralizadas en cadena?
En 2024, el enfoque está en AI y Web3. En el mundo de la inteligencia artificial, los datos actúan como la savia para su crecimiento y evolución. Así como las plantas dependen de la luz del sol y la humedad para prosperar, los sistemas de AI dependen de grandes cantidades de datos para "aprender" y "pensar" continuamente. Sin datos, no importa cuán sofisticados sean los algoritmos de AI, siguen siendo castillos en el aire, incapaces de ejercer la inteligencia y efectividad que se pretende.
Este artículo analiza la evolución de la indexación de datos de blockchain desde la perspectiva de la accesibilidad de datos de blockchain, comparando el protocolo de indexación de datos establecido The Graph con los protocolos de servicio de datos de blockchain emergentes Chainbase y Space and Time. Se exploran particularmente las similitudes y diferencias en los servicios de datos y la arquitectura de productos de estos dos nuevos protocolos que incorporan tecnología AI.
2. **La Complejidad y Sencillez de la Indexación de Datos: Desde Nodos de Blockchain hasta Bases de Datos de Cadena Completa**
2.1 **Fuentes de Datos: Nodos de Blockchain**
Desde el momento en que comenzamos a entender "qué es blockchain", a menudo encontramos la frase: blockchain es un libro mayor descentralizado.Los nodos de blockchain son la base de toda la red de blockchain, responsables de registrar, almacenar y difundir todos los datos de transacciones en la cadena. Cada nodo tiene una copia completa de los datos de la blockchain, asegurando el mantenimiento de las características descentralizadas de la red. Sin embargo, para el usuario promedio, construir y mantener un nodo de blockchain no es una tarea fácil. No solo requiere habilidades técnicas especializadas, sino que también conlleva altos costos de hardware y ancho de banda. Al mismo tiempo, las capacidades de consulta de los nodos ordinarios son limitadas y no pueden recuperar datos en los formatos requeridos por los desarrolladores. Por lo tanto, aunque teóricamente todos pueden ejecutar su propio nodo, en la práctica, los usuarios suelen preferir confiar en servicios de terceros.
Para abordar este problema, han surgido los proveedores de nodos RPC (Remote Procedure Call). Estos proveedores son responsables de los costos y la gestión de los nodos y proporcionan datos a través de puntos finales RPC, permitiendo a los usuarios acceder fácilmente a los datos de la blockchain sin tener que construir sus propios nodos. Los puntos finales RPC públicos son gratuitos pero vienen con límites de tasa que pueden afectar negativamente la experiencia del usuario en dApps. Los puntos finales RPC privados ofrecen un mejor rendimiento al reducir la congestión, pero incluso la recuperación de datos simples puede requerir una cantidad significativa de comunicación de ida y vuelta. Esto los hace intensivos en recursos e ineficientes para consultas de datos complejas. Además, los puntos finales RPC privados a menudo son difíciles de escalar y carecen de compatibilidad entre diferentes redes. Sin embargo, las interfaces API estandarizadas proporcionadas por los proveedores de nodos reducen la barrera para que los usuarios accedan a datos en cadena, sentando las bases para el posterior análisis y aplicaciones de datos.
2.2 **Análisis de Datos: De Datos Crudos a Datos Utilizables**
Los datos obtenidos de los nodos de blockchain son a menudo datos crudos que han sido encriptados y codificados. Si bien estos datos preservan la integridad y seguridad de la blockchain, su complejidad también aumenta la dificultad del análisis de datos. Para los usuarios promedio o desarrolladores, procesar directamente estos datos crudos requiere una gran cantidad de conocimientos técnicos y recursos computacionales.El proceso de análisis de datos es particularmente importante en este contexto. Al analizar datos en bruto complejos y convertirlos en un formato más comprensible y operable, los usuarios pueden entender y utilizar estos datos de manera más intuitiva. El éxito del análisis de datos determina directamente la eficiencia y efectividad de las aplicaciones de datos en blockchain y es un paso clave en todo el proceso de indexación de datos.
2.3 **La Evolución de los Indexadores de Datos**
A medida que el volumen de datos de blockchain aumenta, también crece la demanda de indexadores de datos. Los indexadores juegan un papel crucial en la organización de datos en la cadena y en su envío a bases de datos para facilitar las consultas. El principio de funcionamiento de un indexador es indexar los datos de blockchain y hacerlos disponibles a través de un lenguaje de consulta similar a SQL (como GraphQL API). Al proporcionar una interfaz unificada para consultar datos, los indexadores permiten a los desarrolladores recuperar rápida y precisamente la información que necesitan utilizando lenguajes de consulta estandarizados, simplificando significativamente el proceso.
Diferentes tipos de indexadores optimizan la recuperación de datos de diversas maneras:
- **Indexadores de Nodo Completo**: Estos indexadores ejecutan nodos completos de blockchain y extraen datos directamente de ellos, asegurando la completitud y precisión de los datos, pero requieren un almacenamiento y poder de procesamiento significativos.
- **Indexadores Livianos**: Estos indexadores dependen de nodos completos para obtener datos específicos según sea necesario, reduciendo así los requisitos de almacenamiento pero potencialmente aumentando los tiempos de consulta.
- **Indexadores Dedicados**: Estos indexadores están especializados en ciertos tipos de datos o blockchains específicas, optimizando la recuperación para casos de uso específicos, como datos de NFT o transacciones de DeFi.
- **Indexadores Agregados**: Estos indexadores extraen datos de múltiples blockchains y fuentes, incluida información fuera de la cadena, proporcionando una interfaz de consulta unificada, lo que es particularmente útil para dApps de múltiples cadenas.
Actualmente, los nodos de archivo de Ethereum en el cliente Geth en modo de archivo ocupan aproximadamente 13,5 TB de espacio de almacenamiento, mientras que la demanda de archivo bajo el cliente Erigon es de aproximadamente 3 TB.A medida que la blockchain continúa creciendo, la cantidad de almacenamiento de datos requerido para los nodos de archivo también aumentará. Ante volúmenes de datos tan vastos, los protocolos de indexación convencionales no solo soportan la indexación multi-cadena, sino que también personalizan los marcos de análisis de datos para satisfacer las necesidades de datos de diferentes aplicaciones. Por ejemplo, el marco "Subgraph" de The Graph es un caso típico.
La aparición de indexadores ha mejorado enormemente la eficiencia de la indexación y consulta de datos. En comparación con los puntos finales RPC tradicionales, los indexadores pueden indexar de manera eficiente grandes cantidades de datos y soportar consultas a alta velocidad. Estos indexadores permiten a los usuarios realizar consultas complejas, filtrar datos fácilmente y analizarlos después de la extracción. Además, algunos indexadores también soportan la agregación de fuentes de datos de múltiples blockchains, evitando la necesidad de desplegar múltiples APIs en dApps multi-cadena. Al operar distribuidos a través de múltiples nodos, los indexadores no solo proporcionan una mayor seguridad y rendimiento, sino que también reducen los riesgos de interrupciones y tiempos de inactividad que pueden surgir de proveedores RPC centralizados.
En contraste, los indexadores utilizan lenguajes de consulta predefinidos, permitiendo a los usuarios obtener directamente la información requerida sin tener que lidiar con los complejos datos subyacentes. Este mecanismo mejora significativamente la eficiencia y fiabilidad de la recuperación de datos y representa una importante innovación en el acceso a datos de blockchain.
2.4 Base de Datos de Cadena Completa: Alineándose con Stream-First
Utilizar nodos de indexación para consultar datos típicamente significa que la API se convierte en el único portal para la digestión de datos en cadena. Sin embargo, cuando un proyecto entra en una fase de escalamiento, a menudo requiere fuentes de datos más flexibles, que las APIs estandarizadas no pueden proporcionar. A medida que las demandas de las aplicaciones se vuelven más complejas, los indexadores de datos primarios y sus formatos de indexación estandarizados gradualmente luchan por satisfacer las necesidades de consulta cada vez más diversas, como búsquedas, acceso cruzado a cadenas o mapeo de datos fuera de cadena.
En las arquitecturas modernas de pipeline de datos, un enfoque "stream-first" se ha convertido en una solución para superar las limitaciones del procesamiento por lotes tradicional, permitiendo la ingestión, procesamiento y análisis de datos en tiempo real.Este cambio de paradigma permite a las organizaciones responder de inmediato a los datos entrantes, obteniendo información y tomando decisiones casi instantáneamente. De manera similar, el desarrollo de proveedores de servicios de datos en blockchain también avanza hacia la creación de flujos de datos en blockchain, con proveedores de servicios de indexación tradicionales lanzando gradualmente productos que obtienen datos en tiempo real de blockchain a través de flujos de datos, como Substreams de The Graph, Mirror de Goldsky y lagos de datos en tiempo real generados a partir de blockchains como Chainbase y SubSquid.
Estos servicios tienen como objetivo abordar la necesidad de análisis en tiempo real de transacciones en blockchain y proporcionar capacidades de consulta más completas. Al igual que la arquitectura "stream-first" revoluciona el procesamiento y consumo de datos en los pipelines de datos tradicionales al reducir la latencia y mejorar la capacidad de respuesta, estos proveedores de servicios de flujos de datos en blockchain también esperan apoyar el desarrollo de más aplicaciones y asistir en el análisis de datos en cadena a través de fuentes de datos más avanzadas y maduras.
Al redefinir los desafíos de los datos en cadena desde la perspectiva de los pipelines de datos modernos, podemos ver la gestión, almacenamiento y provisión de datos en cadena bajo una luz completamente nueva. Cuando comenzamos a considerar los subgráficos y el ETL de Ethereum como flujos de datos en pipelines de datos en lugar de resultados finales, podemos imaginar un mundo posible que pueda personalizar conjuntos de datos de alto rendimiento para cualquier caso de uso empresarial.
3. AI + Base de Datos? Comparación en Profundidad de The Graph, Chainbase, Space y Time
3.1 The Graph
La red The Graph permite servicios de indexación y consulta de datos multichain a través de una red descentralizada de nodos, facilitando a los desarrolladores la indexación de datos de blockchain y la construcción de aplicaciones descentralizadas. Sus principales modelos de producto son el mercado de ejecución de consultas de datos y el mercado de caché de indexación de datos, ambos sirven esencialmente a las necesidades de consulta de producto de los usuarios. El mercado de ejecución de consultas de datos se refiere específicamente a los consumidores que pagan a los nodos de indexación que proporcionan los datos deseados, mientras que el mercado de caché de indexación de datos es donde los nodos de indexación asignan recursos en función de la popularidad histórica de indexación de los subgráficos, las tarifas de consulta recaudadas, y demandar de los curadores en cadena para las salidas de subgráficas.
Las subgráficas son la estructura de datos fundamental en la red The Graph. Definen cómo extraer y transformar datos de la blockchain en un formato consultable (por ejemplo, esquema GraphQL). Cualquiera puede crear subgráficas, y múltiples aplicaciones pueden reutilizar estas subgráficas, mejorando la reutilización de datos y la eficiencia.
La red The Graph consiste en cuatro roles clave: indexadores, curadores, delegadores y desarrolladores, que en conjunto brindan soporte de datos para aplicaciones web3. Aquí están sus respectivas responsabilidades:
· Indexador: Los indexadores son operadores de nodos en la red The Graph, que participan en la red apostando GRT (el token nativo de The Graph) y brindan servicios de indexación y procesamiento de consultas.
· Delegador: Los delegadores son usuarios que apuestan tokens GRT para apoyar la operación de los nodos indexadores. Los delegadores ganan una parte de las recompensas a través de los nodos indexadores que delegan.
· Curador: Los curadores son responsables de señalar qué subgráficas deben ser indexadas por la red. Ayudan a garantizar que las subgráficas valiosas sean priorizadas para el procesamiento.
· Desarrollador: A diferencia de los otros tres, que son participantes del lado de la oferta, los desarrolladores son usuarios del lado de la demanda y los principales usuarios de The Graph. Crean y envían subgráficas a la red The Graph, a la espera de que la red satisfaga sus necesidades de datos.
Actualmente, The Graph ha cambiado a un servicio integral de alojamiento descentralizado de subgráficas, con incentivos económicos circulantes entre diferentes participantes que aseguran que el sistema funcione sin problemas:
· Recompensas para indexadores: Los indexadores ganan ingresos a través de las tarifas de consulta de los consumidores y parte de las recompensas de bloque del token GRT.
· Recompensas para delegadores: Los delegadores reciben una parte de las recompensas a través de los nodos indexadores que apoyan.
· Recompensas para curadores: Si los curadores señalan subgráficas valiosas, pueden ganar una parte de las tarifas de consulta.
De hecho, los productos de The Graph también están evolucionando rápidamente en la ola de la IA. Como uno de los equipos de desarrollo centrales del ecosistema de The Graph, Semiotic Labs se ha dedicado a optimizar la fijación de precios de indexación y la experiencia de consulta de usuarios utilizando tecnología de IA.Actualmente, las herramientas desarrolladas por Semiotic Labs, incluyendo AutoAgora, Allocation Optimizer y AgentC, han mejorado el rendimiento del ecosistema en varios aspectos.
· AutoAgora introduce un mecanismo de precios dinámico que ajusta los precios en tiempo real según el volumen de consultas y el uso de recursos, optimizando las estrategias de precios para asegurar la competitividad y maximización de ingresos de los indexadores.
· Allocation Optimizer aborda el complejo problema de la asignación de recursos para subgráficas, ayudando a los indexadores a lograr una configuración óptima de recursos para mejorar los ingresos y el rendimiento.
· AgentC es una herramienta experimental que permite a los usuarios acceder a los datos de blockchain de The Graph a través del lenguaje natural, mejorando así la experiencia del usuario.
La aplicación de estas herramientas ha mejorado aún más la inteligencia y la facilidad de uso de The Graph a través de la asistencia de IA.
3.2 Chainbase
Chainbase es una red de datos de cadena completa que integra todos los datos de blockchain en una sola plataforma, facilitando a los desarrolladores la construcción y mantenimiento de aplicaciones. Sus características únicas incluyen:
· Lago de Datos en Tiempo Real: Chainbase proporciona un lago de datos en tiempo real específicamente para flujos de datos de blockchain, permitiendo que los datos sean accesibles instantáneamente a medida que se generan.
· Arquitectura de Doble Cadena: Chainbase está construido sobre Eigenlayer AVS, creando una capa de ejecución que forma una arquitectura de doble cadena paralela con el algoritmo de consenso de CometBFT. Este diseño mejora la programabilidad y la composabilidad de los datos entre cadenas, soportando un alto rendimiento, baja latencia y finalización, mientras mejora la seguridad de la red a través de un modelo de doble staking.
· Estándar de Formato de Datos Innovador: Chainbase introduce un nuevo estándar de formato de datos llamado "manuscritos", optimizando la estructuración y utilización de datos en la industria de las criptomonedas.
· Modelo del Mundo Cripto: Con sus vastos recursos de datos de blockchain, Chainbase combina tecnología de modelos de IA para crear modelos de IA que pueden comprender, predecir e interactuar efectivamente con transacciones de blockchain.La versión básica del modelo, Theia, ha sido lanzada para uso público.
Estas características hacen que Chainbase se destaque en los protocolos de indexación de blockchain, enfocándose particularmente en la accesibilidad de datos en tiempo real, formatos de datos innovadores y la creación de modelos más inteligentes a través de la combinación de datos en cadena y fuera de cadena para mejorar los conocimientos.
El modelo de IA de Chainbase, Theia, es un punto destacado que lo diferencia de otros protocolos de servicios de datos. Theia se basa en el modelo DORA desarrollado por NVIDIA, combinando datos en cadena y fuera de cadena con actividades temporales y espaciales para aprender y analizar patrones de criptomonedas, respondiendo a través del razonamiento causal para explorar profundamente el potencial valor y patrones de los datos en cadena, proporcionando a los usuarios servicios de datos más inteligentes.
Los servicios de datos potenciados por IA hacen que Chainbase no sea solo una plataforma de servicios de datos de blockchain, sino un proveedor de servicios de datos inteligentes más competitivo. Con recursos de datos robustos y un análisis proactivo de IA, Chainbase puede proporcionar conocimientos de datos más amplios y optimizar los flujos de trabajo de procesamiento de datos de los usuarios.
3.3 Espacio y Tiempo
Espacio y Tiempo (SxT) tiene como objetivo crear una capa de computación verificable que extienda las pruebas de conocimiento cero en almacenes de datos descentralizados, proporcionando procesamiento de datos confiable para contratos inteligentes, grandes modelos de lenguaje y empresas. Actualmente, Espacio y Tiempo ha asegurado 20 millones de dólares en su última ronda de financiación Serie A, liderada por Framework Ventures, Lightspeed Faction, Arrington Capital y Hivemind Capital.
En el campo de la indexación y validación de datos, Espacio y Tiempo introduce un nuevo camino tecnológico: Prueba de SQL. Esta es una tecnología innovadora de prueba de conocimiento cero (ZKP) desarrollada por Espacio y Tiempo que garantiza que las consultas SQL ejecutadas en almacenes de datos descentralizados sean a prueba de manipulaciones y verificables. Cuando se ejecuta una consulta, la Prueba de SQL genera una prueba criptográfica que verifica la integridad y precisión de los resultados de la consulta. Esta prueba se adjunta a los resultados de la consulta, permitiendo que cualquier verificador (como contratos inteligentes) confirme de manera independiente que los datos no han sido alterados durante el procesamiento.Las redes blockchain tradicionales suelen depender de mecanismos de consenso para validar la autenticidad de los datos, mientras que el Proof of SQL de Space and Time implementa un método de validación de datos más eficiente. Específicamente, en el sistema de Space and Time, un nodo es responsable de la adquisición de datos, mientras que otros nodos verifican la autenticidad de los datos utilizando tecnología zk. Este enfoque cambia el consumo de recursos de múltiples nodos que indexan redundante y simultáneamente los mismos datos bajo mecanismos de consenso para alcanzar un acuerdo, mejorando así el rendimiento general del sistema. A medida que esta tecnología madura, proporciona un trampolín para que diversas industrias tradicionales que se centran en la fiabilidad de los datos utilicen datos blockchain para construir productos.
Al mismo tiempo, SxT ha estado colaborando estrechamente con el Laboratorio de Innovación Conjunta de IA de Microsoft para acelerar el desarrollo de herramientas de IA generativa, facilitando a los usuarios el acceso a datos blockchain a través del procesamiento de lenguaje natural. Actualmente, en el Space and Time Studio, los usuarios pueden experimentar con la entrada de consultas en lenguaje natural, las cuales la IA convierte automáticamente en SQL y ejecuta en nombre del usuario para presentar los resultados finales requeridos por el usuario.
3.4 Comparación de Diferencias
4. Conclusión y Perspectivas
En resumen, la tecnología de indexación de datos blockchain ha evolucionado desde la fuente inicial de datos de nodos, pasando por el desarrollo de análisis de datos e indexadores, hasta finalmente evolucionar hacia servicios de datos de cadena completa potenciados por IA, atravesando un proceso de mejora gradual. La evolución continua de estas tecnologías no solo mejora la eficiencia y precisión del acceso a los datos, sino que también proporciona a los usuarios una experiencia inteligente sin precedentes.
De cara al futuro, a medida que la tecnología de IA y nuevas tecnologías como las pruebas de conocimiento cero continúan desarrollándose, los servicios de datos blockchain se volverán aún más inteligentes y seguros. Tenemos razones para creer que los servicios de datos blockchain seguirán desempeñando un papel importante como infraestructura en el futuro, proporcionando un fuerte apoyo para el progreso y la innovación en la industria.