**Leitura, Indexação para Análise: Uma Breve Visão Geral da Rota de Indexação de Dados Web3** Este artigo explora a história do desenvolvimento da acessibilidade a dados em blockchain, comparando as características de três protocolos de serviços de dados: The Graph, Chainbase e Space and Time em termos de arquitetura e aplicação da tecnologia de IA. Ele aponta que os serviços de dados em blockchain estão evoluindo em direção à inteligência e segurança, e continuarão a desempenhar um papel importante como infraestrutura da indústria no futuro. Sinta-se à vontade para nos apoiar com um clique! 🫡 1. **Introdução** Desde a primeira onda de dApps como Etheroll, ETHLend e CryptoKitties em 2017, até o florescimento de vários dApps financeiros, de jogos e sociais baseados em diferentes blockchains hoje, já consideramos as fontes dos vários dados que esses dApps adotam durante as interações ao discutir aplicações descentralizadas on-chain? Em 2024, o foco está em IA e Web3. No mundo da inteligência artificial, os dados atuam como a força vital para seu crescimento e evolução. Assim como as plantas dependem da luz solar e da umidade para prosperar, os sistemas de IA dependem de grandes volumes de dados para continuamente “aprender” e “pensar.” Sem dados, não importa quão sofisticados sejam os algoritmos de IA, eles permanecem castelos no ar, incapazes de exercer sua inteligência e eficácia pretendidas. Este artigo analisa a evolução da indexação de dados em blockchain sob a perspectiva da acessibilidade a dados em blockchain, comparando o protocolo de indexação de dados estabelecido The Graph com os protocolos de serviços de dados em blockchain emergentes Chainbase e Space and Time. Ele explora particularmente as semelhanças e diferenças nos serviços de dados e na arquitetura de produtos desses dois novos protocolos que incorporam tecnologia de IA. 2. **A Complexidade e Simplicidade da Indexação de Dados: De Nós de Blockchain a Bancos de Dados de Cadeia Completa** 2.1 **Fontes de Dados: Nós de Blockchain** Desde o momento em que começamos a entender “o que é blockchain,” frequentemente encontramos a frase: blockchain é um livro-razão descentralizado.Os nós da blockchain são a base de toda a rede blockchain, responsáveis por registrar, armazenar e disseminar todos os dados de transações na cadeia. Cada nó possui uma cópia completa dos dados da blockchain, garantindo a manutenção das características descentralizadas da rede. No entanto, para o usuário médio, construir e manter um nó de blockchain não é uma tarefa fácil. Isso não apenas requer habilidades técnicas especializadas, mas também envolve altos custos de hardware e largura de banda. Ao mesmo tempo, as capacidades de consulta de nós comuns são limitadas e não conseguem recuperar dados nos formatos exigidos pelos desenvolvedores. Portanto, embora teoricamente todos possam executar seu próprio nó, na prática, os usuários geralmente preferem confiar em serviços de terceiros.

Para resolver esse problema, surgiram os provedores de nós RPC (Remote Procedure Call). Esses provedores são responsáveis pelos custos e pela gestão dos nós e fornecem dados por meio de endpoints RPC, permitindo que os usuários acessem facilmente os dados da blockchain sem precisar construir seus próprios nós. Endpoints RPC públicos são gratuitos, mas vêm com limites de taxa que podem impactar negativamente a experiência do usuário em dApps. Endpoints RPC privados oferecem melhor desempenho ao reduzir a congestão, mas até mesmo a recuperação de dados simples pode exigir uma quantidade significativa de comunicação de ida e volta. Isso os torna intensivos em recursos e ineficientes para consultas de dados complexas. Além disso, endpoints RPC privados costumam ser difíceis de escalar e carecem de compatibilidade entre diferentes redes. No entanto, as interfaces de API padronizadas fornecidas pelos provedores de nós diminuem a barreira para os usuários acessarem dados on-chain, preparando o terreno para a subsequente análise de dados e aplicações.

2.2 **Análise de Dados: De Dados Brutos a Dados Utilizáveis**

Os dados obtidos dos nós da blockchain são frequentemente dados brutos que foram criptografados e codificados. Embora esses dados preservem a integridade e a segurança da blockchain, sua complexidade também aumenta a dificuldade da análise de dados. Para usuários médios ou desenvolvedores, processar diretamente esses dados brutos requer uma grande quantidade de conhecimento técnico e recursos computacionais.O processo de análise de dados é particularmente importante neste contexto. Ao analisar dados brutos complexos e convertê-los em um formato mais compreensível e operável, os usuários podem entender e utilizar esses dados de forma mais intuitiva. O sucesso da análise de dados determina diretamente a eficiência e a eficácia das aplicações de dados em blockchain e é um passo chave em todo o processo de indexação de dados.

2.3 **A Evolução dos Indexadores de Dados**

À medida que o volume de dados em blockchain aumenta, a demanda por indexadores de dados também cresce. Os indexadores desempenham um papel crucial na organização dos dados on-chain e no envio deles para bancos de dados para facilitar as consultas. O princípio de funcionamento de um indexador é indexar dados de blockchain e torná-los disponíveis através de uma linguagem de consulta semelhante ao SQL (como a API GraphQL). Ao fornecer uma interface unificada para consultar dados, os indexadores permitem que os desenvolvedores recuperem rapidamente e com precisão as informações de que precisam, utilizando linguagens de consulta padronizadas, simplificando significativamente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

- **Indexadores de Nó Completo**: Esses indexadores executam nós completos de blockchain e extraem dados diretamente deles, garantindo a completude e a precisão dos dados, mas exigindo armazenamento e poder de processamento significativos.
- **Indexadores Leves**: Esses indexadores dependem de nós completos para buscar dados específicos conforme necessário, reduzindo assim os requisitos de armazenamento, mas potencialmente aumentando os tempos de consulta.
- **Indexadores Dedicados**: Esses indexadores são especializados para certos tipos de dados ou blockchains específicos, otimizando a recuperação para casos de uso específicos, como dados de NFT ou transações DeFi.
- **Indexadores Agregados**: Esses indexadores extraem dados de múltiplas blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, que é particularmente útil para dApps multi-chain.

Atualmente, os nós de arquivo do Ethereum no cliente Geth em modo de arquivo ocupam cerca de 13,5 TB de espaço de armazenamento, enquanto a demanda de arquivamento sob o cliente Erigon é de cerca de 3 TB.À medida que a blockchain continua a crescer, a quantidade de armazenamento de dados necessária para nós de arquivo também aumentará. Diante de volumes de dados tão vastos, protocolos de indexação tradicionais não apenas suportam indexação multi-chain, mas também personalizam estruturas de parsing de dados para atender às necessidades de dados de diferentes aplicações. Por exemplo, o framework "Subgraph" do The Graph é um caso típico.

A emergência de indexadores melhorou significativamente a eficiência da indexação e consulta de dados. Comparados a endpoints RPC tradicionais, os indexadores podem indexar grandes quantidades de dados de forma eficiente e suportar consultas em alta velocidade. Esses indexadores permitem que os usuários realizem consultas complexas, filtrem dados facilmente e os analisem após a extração. Além disso, alguns indexadores também suportam a agregação de fontes de dados de várias blockchains, evitando a necessidade de implantar múltiplas APIs em dApps multi-chain. Ao operar de forma distribuída em vários nós, os indexadores não apenas oferecem maior segurança e desempenho, mas também reduzem os riscos de interrupções e tempo de inatividade que podem surgir de provedores RPC centralizados.

Em contraste, os indexadores utilizam linguagens de consulta pré-definidas, permitindo que os usuários obtenham diretamente as informações necessárias sem precisar lidar com os dados complexos subjacentes. Esse mecanismo melhora significativamente a eficiência e a confiabilidade da recuperação de dados e representa uma inovação importante no acesso a dados da blockchain.

2.4 Banco de Dados Full-Chain: Alinhando-se ao Stream-First

Usar nós de índice para consultar dados normalmente significa que a API se torna o único portal para digerir dados on-chain. No entanto, quando um projeto entra em uma fase de escalonamento, frequentemente requer fontes de dados mais flexíveis, que APIs padronizadas não podem fornecer. À medida que as demandas das aplicações se tornam mais complexas, os indexadores de dados primários e seus formatos de indexação padronizados gradualmente enfrentam dificuldades para atender a necessidades de consulta cada vez mais diversas, como buscas, acesso cross-chain ou mapeamento de dados off-chain.
Em arquiteturas modernas de pipeline de dados, uma abordagem "stream-first" se tornou uma solução para superar as limitações do processamento em lote tradicional, permitindo a ingestão, processamento e análise de dados em tempo real.Essa mudança de paradigma permite que as organizações respondam imediatamente aos dados recebidos, extraindo insights e tomando decisões quase que instantaneamente. Da mesma forma, o desenvolvimento de provedores de serviços de dados em blockchain também está avançando na construção de fluxos de dados em blockchain, com provedores de serviços indexadores tradicionais lançando gradualmente produtos que obtêm dados de blockchain em tempo real através de fluxos de dados, como os Substreams do The Graph, o Mirror da Goldsky e lagos de dados em tempo real gerados com base em blockchains como Chainbase e SubSquid.

Esses serviços visam atender à necessidade de análise em tempo real de transações em blockchain e fornecer capacidades de consulta mais abrangentes. Assim como a arquitetura "stream-first" revoluciona o processamento e o consumo de dados em pipelines de dados tradicionais reduzindo a latência e aumentando a capacidade de resposta, esses provedores de serviços de fluxo de dados em blockchain também esperam apoiar o desenvolvimento de mais aplicações e auxiliar na análise de dados on-chain através de fontes de dados mais avançadas e maduras.

Ao redefinir os desafios dos dados on-chain sob a perspectiva de pipelines de dados modernos, podemos ver a gestão, o armazenamento e a provisão de dados on-chain de uma nova maneira. Quando começamos a considerar subgrafos e ETL do Ethereum como fluxos de dados em pipelines de dados, em vez de saídas finais, podemos imaginar um mundo possível que pode personalizar conjuntos de dados de alto desempenho para qualquer caso de uso empresarial.

3. IA + Banco de Dados? Comparação Profunda do The Graph, Chainbase, Space e Time

3.1 The Graph

A rede The Graph permite serviços de indexação e consulta de dados multi-chain através de uma rede descentralizada de nós, facilitando para os desenvolvedores a indexação fácil de dados de blockchain e a construção de aplicações descentralizadas. Seus principais modelos de produtos são o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, ambos servindo essencialmente às necessidades de consulta de produtos dos usuários. O mercado de execução de consultas de dados refere-se especificamente aos consumidores que pagam nós indexadores que fornecem os dados desejados, enquanto o mercado de cache de indexação de dados é onde os nós indexadores alocam recursos com base na popularidade histórica de indexação de subgrafos, taxas de consulta coletadas e demandar de curadores on-chain para saídas de subgrafos.

Subgrafos são a estrutura de dados fundamental na rede The Graph. Eles definem como extrair e transformar dados da blockchain em um formato consultável (por exemplo, esquema GraphQL). Qualquer pessoa pode criar subgrafos, e múltiplas aplicações podem reutilizar esses subgrafos, melhorando a reutilização de dados e a eficiência.
A rede The Graph consiste em quatro papéis principais: indexadores, curadores, delegadores e desenvolvedores, que coletivamente fornecem suporte de dados para aplicações web3. Aqui estão suas respectivas responsabilidades:
· Indexador: Indexadores são operadores de nós na rede The Graph, que participam da rede ao fazer staking de GRT (o token nativo do The Graph) e fornecem serviços de indexação e processamento de consultas.
· Delegador: Delegadores são usuários que fazem staking de tokens GRT para apoiar a operação dos nós indexadores. Os delegadores ganham uma parte das recompensas através dos nós indexadores que delegam.
· Curador: Curadores são responsáveis por sinalizar quais subgrafos devem ser indexados pela rede. Eles ajudam a garantir que subgrafos valiosos sejam priorizados para processamento.
· Desenvolvedor: Ao contrário dos outros três, que são participantes do lado da oferta, os desenvolvedores são usuários do lado da demanda e os principais usuários do The Graph. Eles criam e submetem subgrafos à rede The Graph, aguardando que a rede atenda suas necessidades de dados.
Atualmente, o The Graph mudou para um serviço de hospedagem de subgrafos descentralizado abrangente, com incentivos econômicos circulantes entre os diferentes participantes garantindo que o sistema funcione suavemente:

· Recompensas de Indexadores: Indexadores ganham renda através de taxas de consulta de consumidores e parte das recompensas de bloco do token GRT.
· Recompensas de Delegadores: Delegadores recebem uma parte das recompensas através dos nós indexadores que apoiam.
· Recompensas de Curadores: Se curadores sinalizarem subgrafos valiosos, eles podem ganhar uma parte das taxas de consulta.

De fato, os produtos do The Graph também estão evoluindo rapidamente na onda da IA. Como uma das equipes de desenvolvimento central do ecossistema The Graph, a Semiotic Labs tem se dedicado a otimizar a precificação de indexação e as experiências de consulta dos usuários usando tecnologia de IA.Atualmente, as ferramentas desenvolvidas pela Semiotic Labs, incluindo AutoAgora, Allocation Optimizer e AgentC, melhoraram o desempenho do ecossistema em vários aspectos.

· AutoAgora introduz um mecanismo de precificação dinâmica que ajusta os preços em tempo real com base no volume de consultas e no uso de recursos, otimizando estratégias de precificação para garantir a competitividade e a maximização da receita dos indexadores.
· Allocation Optimizer aborda a complexa questão da alocação de recursos para subgrafos, ajudando os indexadores a alcançar uma configuração de recursos ideal para aumentar a receita e o desempenho.
· AgentC é uma ferramenta experimental que permite aos usuários acessar os dados da blockchain do The Graph por meio de linguagem natural, melhorando assim a experiência do usuário.

A aplicação dessas ferramentas aprimorou ainda mais a inteligência e a facilidade de uso do The Graph por meio da assistência de IA.

3.2 Chainbase

Chainbase é uma rede de dados multichain que integra todos os dados de blockchain em uma única plataforma, facilitando para os desenvolvedores a construção e manutenção de aplicações. Suas características únicas incluem:

· Data Lake em Tempo Real: Chainbase fornece um data lake em tempo real especificamente para fluxos de dados de blockchain, permitindo que os dados sejam acessados instantaneamente à medida que são gerados.
· Arquitetura de Cadeia Dupla: Chainbase é construído sobre o Eigenlayer AVS, criando uma camada de execução que forma uma arquitetura de cadeia dupla paralela com o algoritmo de consenso do CometBFT. Este design melhora a programabilidade e a composibilidade dos dados entre cadeias, suportando alta taxa de transferência, baixa latência e finalização, enquanto melhora a segurança da rede por meio de um modelo de dupla participação.
· Padrão de Formato de Dados Inovador: Chainbase introduz um novo padrão de formato de dados chamado "manuscritos", otimizando a estruturação e utilização de dados na indústria de criptomoedas.
· Modelo de Mundo Cripto: Com seus vastos recursos de dados de blockchain, Chainbase combina tecnologia de modelo de IA para criar modelos de IA que podem entender, prever e interagir efetivamente com transações de blockchain.O modelo da versão básica, Theia, foi lançado para uso público.

Essas características fazem com que o Chainbase se destaque nos protocolos de indexação de blockchain, focando particularmente na acessibilidade de dados em tempo real, formatos de dados inovadores e na criação de modelos mais inteligentes através da combinação de dados on-chain e off-chain para aprimorar percepções.

O modelo de IA do Chainbase, Theia, é um destaque chave que o diferencia de outros protocolos de serviços de dados. Theia é baseado no modelo DORA desenvolvido pela NVIDIA, combinando dados on-chain e off-chain com atividades temporais e espaciais para aprender e analisar padrões de criptomoedas, respondendo através de raciocínio causal para explorar profundamente o valor potencial e os padrões dos dados on-chain, fornecendo aos usuários serviços de dados mais inteligentes.

Os serviços de dados capacitados por IA fazem do Chainbase não apenas uma plataforma de serviço de dados de blockchain, mas um provedor de serviços de dados inteligentes mais competitivo. Com recursos de dados robustos e análise proativa de IA, o Chainbase pode fornecer percepções de dados mais amplas e otimizar os fluxos de trabalho de processamento de dados dos usuários.

3.3 Espaço e Tempo

Espaço e Tempo (SxT) visa criar uma camada de computação verificável que estende provas de conhecimento zero em depósitos de dados descentralizados, proporcionando processamento de dados confiável para contratos inteligentes, grandes modelos de linguagem e empresas. Atualmente, o Espaço e Tempo garantiu $20 milhões em sua última rodada de financiamento da série A, liderada pela Framework Ventures, Lightspeed Faction, Arrington Capital e Hivemind Capital.

No campo da indexação e validação de dados, o Espaço e Tempo introduz um novo caminho tecnológico — Prova de SQL. Esta é uma tecnologia inovadora de prova de conhecimento zero (ZKP) desenvolvida pelo Espaço e Tempo que garante que as consultas SQL executadas em depósitos de dados descentralizados sejam à prova de adulteração e verificáveis. Quando uma consulta é executada, a Prova de SQL gera uma prova criptográfica que verifica a integridade e a precisão dos resultados da consulta. Esta prova é anexada aos resultados da consulta, permitindo que qualquer verificador (como contratos inteligentes) confirme independentemente que os dados não foram alterados durante o processamento.As redes blockchain tradicionais geralmente dependem de mecanismos de consenso para validar a autenticidade dos dados, enquanto o Proof of SQL da Space and Time implementa um método de validação de dados mais eficiente. Especificamente, no sistema da Space and Time, um nó é responsável pela aquisição de dados, enquanto outros nós verificam a autenticidade dos dados utilizando tecnologia zk. Essa abordagem muda o consumo de recursos de múltiplos nós que indexam redundante os mesmos dados sob mecanismos de consenso para alcançar um acordo, assim melhorando o desempenho geral do sistema. À medida que essa tecnologia amadurece, ela oferece um trampolim para diversas indústrias tradicionais focadas na confiabilidade dos dados utilizarem dados da blockchain para construir produtos.

Ao mesmo tempo, a SxT tem colaborado de perto com o Laboratório de Inovação Conjunta de IA da Microsoft para acelerar o desenvolvimento de ferramentas de IA generativa, facilitando o acesso dos usuários aos dados da blockchain por meio de processamento de linguagem natural. Atualmente, no Space and Time Studio, os usuários podem experimentar a inserção de consultas em linguagem natural, que a IA automaticamente converte em SQL e executa em nome do usuário para apresentar os resultados finais necessários.

3.4 Comparação das Diferenças
4. Conclusão e Perspectivas

Em resumo, a tecnologia de indexação de dados da blockchain evoluiu da fonte inicial de dados de nós, passando pelo desenvolvimento de análise de dados e indexadores, para finalmente evoluir para serviços de dados de cadeia completa impulsionados por IA, passando por um processo de melhoria gradual. A evolução contínua dessas tecnologias não apenas aumenta a eficiência e a precisão do acesso aos dados, mas também proporciona aos usuários uma experiência inteligente sem precedentes.

Olhando para o futuro, à medida que a tecnologia de IA e novas tecnologias, como provas de zero-conhecimento, continuam a se desenvolver, os serviços de dados da blockchain se tornarão ainda mais inteligentes e seguros. Temos razões para acreditar que os serviços de dados da blockchain continuarão a desempenhar um papel importante como infraestrutura no futuro, fornecendo um forte apoio para o progresso e a inovação da indústria.