**Чтение, Индексация к Анализу: Краткий Обзор Трека Индексации Данных Web3**
В этой статье рассматривается история развития доступности данных блокчейна, сравниваются характеристики трех протоколов сервисов данных: The Graph, Chainbase и Space and Time с точки зрения архитектуры и применения технологий ИИ. Подчеркивается, что сервисы данных блокчейна развиваются в сторону интеллекта и безопасности и будут продолжать играть важную роль в качестве инфраструктуры отрасли в будущем.
Не стесняйтесь поддержать нас одним кликом! 🫡
1. **Введение**
С момента первой волны децентрализованных приложений (dApps), таких как Etheroll, ETHLend и CryptoKitties в 2017 году, до расцвета различных финансовых, игровых и социальных dApps на основе разных блокчейнов сегодня, мы когда-либо задумывались о источниках разнообразных данных, которые эти dApps используют во время взаимодействия, обсуждая децентрализованные приложения в цепочке?
В 2024 году акцент сделан на ИИ и Web3. В мире искусственного интеллекта данные выступают в качестве жизненной силы для его роста и эволюции. Точно так же как растения зависят от солнечного света и влаги для процветания, системы ИИ нуждаются в огромных объемах данных, чтобы постоянно «учиться» и «думать». Без данных, независимо от того, насколько сложны алгоритмы ИИ, они остаются лишь воздушными замками, неспособными реализовать свою предполагаемую интеллектуальность и эффективность.
В этой статье анализируется эволюция индексации данных блокчейна с точки зрения доступности данных блокчейна, сравниваются установленный протокол индексации данных The Graph с новыми протоколами сервисов данных блокчейна Chainbase и Space and Time. В частности, рассматриваются сходства и различия в сервисах данных и архитектуре продуктов этих двух новых протоколов, которые интегрируют технологии ИИ.
2. **Сложность и Простота Индексации Данных: От Узлов Блокчейна к Полным Базам Данных Цепочки**
2.1 **Источники Данных: Узлы Блокчейна**
С того момента, как мы начинаем понимать «что такое блокчейн», мы часто сталкиваемся с фразой: блокчейн — это децентрализованный реестр.Узлы блокчейна являются основой всей сети блокчейн, отвечая за запись, хранение и распространение всех данных о транзакциях в цепочке. Каждый узел имеет полную копию данных блокчейна, что обеспечивает поддержание децентрализованных характеристик сети. Тем не менее, для обычного пользователя создание и поддержка узла блокчейна — это непростая задача. Это требует не только специализированных технических навыков, но и значительных затрат на оборудование и пропускную способность. В то же время возможности запросов обычных узлов ограничены, и они не могут извлекать данные в форматах, необходимых разработчикам. Поэтому, хотя теоретически каждый может запустить свой собственный узел, на практике пользователи обычно предпочитают полагаться на сторонние сервисы.
Чтобы решить эту проблему, появились поставщики узлов RPC (Remote Procedure Call). Эти поставщики отвечают за затраты и управление узлами и предоставляют данные через конечные точки RPC, позволяя пользователям легко получать доступ к данным блокчейна без необходимости создания собственных узлов. Публичные конечные точки RPC бесплатны, но имеют ограничения по количеству запросов, что может негативно сказаться на пользовательском опыте дApps. Частные конечные точки RPC предлагают лучшую производительность, уменьшая загруженность, но даже простое извлечение данных может требовать значительного объема обмена сообщениями. Это делает их ресурсоемкими и неэффективными для сложных запросов данных. Кроме того, частные конечные точки RPC часто трудно масштабировать и имеют проблемы с совместимостью между различными сетями. Однако стандартизированные API-интерфейсы, предоставляемые поставщиками узлов, снижают барьер для пользователей, желающих получить доступ к данным на блокчейне, закладывая основу для последующей обработки и применения данных.
2.2 **Обработка данных: от сырых данных к пригодным для использования**
Данные, полученные от узлов блокчейна, часто представляют собой сырые данные, которые были зашифрованы и закодированы. Хотя эти данные сохраняют целостность и безопасность блокчейна, их сложность также увеличивает трудности обработки данных. Для среднестатистических пользователей или разработчиков прямое обработка этих сырых данных требует значительных технических знаний и вычислительных ресурсов.
Процесс парсинга данных особенно важен в данном контексте. Путем обработки сложных сырых данных и преобразования их в более понятный и удобный формат, пользователи могут интуитивно лучше понимать и использовать эти данные. Успех парсинга данных напрямую определяет эффективность и действенность приложений для работы с данными блокчейна и является ключевым этапом в процессе индексации данных.
2.3 Эволюция индексаторов данных
С увеличением объема данных блокчейна растет и спрос на индексаторы данных. Индексаторы играют решающую роль в организации данных на блокчейне и передаче их в базы данных для удобного запроса. Принцип работы индексатора заключается в индексации данных блокчейна и их предоставлении с помощью языка запросов, подобного SQL (например, GraphQL API). Предоставляя единый интерфейс для запроса данных, индексаторы позволяют разработчикам быстро и точно извлекать необходимую информацию, используя стандартизированные языки запросов, что значительно упрощает процесс.
Разные типы индексаторов оптимизируют извлечение данных различными способами:
- Индексаторы полных узлов: Эти индексаторы работают на полных узлах блокчейна и извлекают данные непосредственно из них, обеспечивая полноту и точность данных, но требуя значительных ресурсов для хранения и обработки.
- Легковесные индексаторы: Эти индексаторы полагаются на полные узлы для получения конкретных данных по мере необходимости, тем самым уменьшая требования к хранилищу, но потенциально увеличивая время выполнения запросов.
- Специализированные индексаторы: Эти индексаторы специализированы для определенных типов данных или конкретных блокчейнов, оптимизируя извлечение для конкретных случаев использования, таких как данные NFT или транзакции DeFi.
- Агрегатные индексаторы: Эти индексаторы извлекают данные из нескольких блокчейнов и источников, включая оффчейн информацию, предоставляя единый интерфейс запроса, что особенно полезно для многосетевых dApps.
В настоящее время архивные узлы Ethereum в клиенте Geth в архивном режиме занимают около 13.5 TB пространства для хранения, в то время как архивный спрос в клиенте Erigon составляет около 3 TB.
С ростом блокчейна увеличивается и объем данных, необходимых для архивных узлов. В условиях таких огромных объемов данных основные протоколы индексирования не только поддерживают мультицепочечное индексирование, но и настраивают фреймворки парсинга данных, чтобы удовлетворить потребности различных приложений. Например, фреймворк "Subgraph" от The Graph является典型ным примером.
Появление индексаторов значительно повысило эффективность индексирования и запросов данных. В отличие от традиционных RPC-эндпоинтов, индексаторы могут эффективно индексировать большие объемы данных и поддерживать высокоскоростные запросы. Эти индексаторы позволяют пользователям выполнять сложные запросы, легко фильтровать данные и анализировать их после извлечения. Более того, некоторые индексаторы также поддерживают агрегацию источников данных из нескольких блокчейнов, избегая необходимости развертывания нескольких API в мультицепочечных dApps. Запускаясь в распределенном режиме на нескольких узлах, индексаторы не только обеспечивают повышенную безопасность и производительность, но и уменьшают риски сбоев и простоя, которые могут возникнуть из-за централизованных поставщиков RPC.
В отличие от этого, индексаторы используют заранее определенные языки запросов, позволяя пользователям непосредственно получать необходимую информацию, не сталкиваясь со сложными данными на низком уровне. Этот механизм значительно улучшает эффективность и надежность извлечения данных и представляет собой важную инновацию в доступе к данным блокчейна.
2.4 Полноцепочная база данных: согласование с подходом "stream-first"
Использование индексированных узлов для запроса данных обычно означает, что API становится единственным порталом для обработки ончейн данных. Однако, когда проект входит в фазу масштабирования, ему часто требуются более гибкие источники данных, которые стандартизированные API не могут предоставить. Поскольку требования приложений становятся более сложными, первичные индексаторы данных и их стандартизированные форматы индексирования постепенно начинают испытывать трудности с удовлетворением все более разнообразных запросов, таких как поиск, кросс-цепочечный доступ или отображение данных вне цепи.
В современных архитектурах потоковых данных подход "stream-first" стал решением для преодоления ограничений традиционной пакетной обработки, позволяя осуществлять обработку, анализ и внедрение данных в реальном времени.
Этот сдвиг парадигмы позволяет организациям мгновенно реагировать на поступающие данные, извлекая полезную информацию и принимая решения практически в реальном времени. Аналогично, развитие поставщиков услуг блокчейн-данных также движется в сторону создания потоков данных блокчейна, при этом традиционные провайдеры индексации постепенно запускают продукты, которые получают данные блокчейна в реальном времени через потоковые технологии, такие как Substreams от The Graph, Mirror от Goldsky и реальное время генерации дата-озер на основе блокчейнов, таких как Chainbase и SubSquid.Эти услуги направлены на решение необходимости в реальном времени анализировать транзакции блокчейна и предоставлять более обширные возможности для запросов. Подобно тому, как архитектура «stream-first» революционизирует обработку и потребление данных в традиционных дата-каналах, снижая задержки и повышая отзывчивость, эти поставщики услуг потоковых данных блокчейна также надеются поддержать развитие большего числа приложений и помочь в анализе данных в блокчейне через более продвинутые и зрелые источники данных.
Переосмысливая задачи работы с данными в блокчейне с точки зрения современных дата-каналов, мы можем взглянуть на управление, хранение и предоставление данных в блокчейне совершенно с другой стороны. Когда мы начинаем рассматривать субграфы и Ethereum ETL как потоковые данные в дата-каналах, а не как конечные результаты, мы можем представить себе возможный мир, который может адаптировать высокопроизводительные наборы данных для любых бизнес-задач.
3. AI + База данных? Углубленное сравнение The Graph, Chainbase, Space и Time
3.1 The Graph
Сеть The Graph позволяет осуществлять индексирование и запросы данных с многосетевой поддержкой через децентрализованную сеть узлов, что облегчает разработчикам индексирование данных блокчейна и создание децентрализованных приложений. Основные модели продуктов включают рынок выполнения запросов данных и рынок кэша индексирования данных, которые в основном служат для удовлетворения потребностей пользователей в запросах к продуктам. Рынок выполнения запросов данных конкретно относится к потребителям, которые оплачивают индексные узлы, предоставляющие желаемые данные, в то время как рынок кэша индексирования данных — это место, где индексные узлы распределяют ресурсы на основе исторической популярности индексирования субграфов, собранных сборов за запросы и других факторов.Спрос со стороны кураторов на выходные данные субграфов.
Субграфы являются основным структурным элементом в сети The Graph. Они определяют, как извлекать и преобразовывать данные из блокчейна в формат, пригодный для запросов (например, схема GraphQL). Каждый может создавать субграфы, и множество приложений могут повторно использовать эти субграфы, что повышает многократность использования данных и эффективность.
Сеть The Graph состоит из четырех ключевых ролей: индексаторов, кураторов, делегаторов и разработчиков, которые совместно обеспечивают поддержку данных для приложений web3. Вот их соответствующие обязанности:
· Индексатор: Индексаторы — это операторы узлов в сети The Graph, которые участвуют в сети, ставя GRT (родной токен The Graph), и предоставляют услуги индексирования и обработки запросов.
· Делегатор: Делегаторы — это пользователи, которые ставят токены GRT, чтобы поддерживать работу узлов индексации. Делегаторы зарабатывают часть вознаграждений через узлы индексации, которые они поддерживают.
· Куратор: Кураторы отвечают за сигнализацию о том, какие субграфы должны индексироваться сетью. Они помогают гарантировать, что ценные субграфы получают приоритет в обработке.
· Разработчик: В отличие от других трех, которые являются участниками со стороны предложения, разработчики — это пользователи со стороны спроса и основные пользователи The Graph. Они создают и отправляют субграфы в сеть The Graph, ожидая, когда сеть удовлетворит их потребности в данных.
В настоящее время The Graph перешел к комплексной децентрализованной службе хостинга субграфов, с циркулирующими экономическими стимулами среди различных участников, что обеспечивает бесперебойную работу системы:
· Вознаграждения для индексаторов: Индексаторы зарабатывают доход через плату за запросы от пользователей и часть вознаграждений за блоки токенов GRT.
· Вознаграждения для делегаторов: Делегаторы получают часть вознаграждений через узлы индексации, которые они поддерживают.
· Вознаграждения для кураторов: Если кураторы сигнализируют о ценных субграфах, они могут заработать часть платы за запросы.
На самом деле, продукты The Graph также быстро развиваются в волне ИИ. В качестве одной из ключевых команд разработчиков экосистемы The Graph, Semiotic Labs активно работает над оптимизацией ценообразования на индексы и пользовательского опыта запросов с использованием технологий ИИ.В настоящее время инструменты, разработанные компанией Semiotic Labs, такие как AutoAgora, Allocation Optimizer и AgentC, улучшили производительность экосистемы в различных аспектах.
· AutoAgora представляет динамический механизм ценообразования, который корректирует цены в реальном времени на основе объема запросов и использования ресурсов, оптимизируя ценовые стратегии для обеспечения конкурентоспособности и максимизации доходов индексаторов.
· Allocation Optimizer решает сложную задачу распределения ресурсов для сабграфов, помогая индексаторам достичь оптимальной конфигурации ресурсов для повышения дохода и производительности.
· AgentC — это экспериментальный инструмент, который позволяет пользователям получать доступ к блокчейн-данным The Graph с помощью естественного языка, тем самым улучшая пользовательский опыт.
Применение этих инструментов дополнительно повысило интеллектуальность и удобство использования The Graph благодаря поддержке искусственного интеллекта.
3.2 Chainbase
Chainbase — это сеть данных для всех блокчейнов, которая интегрирует все блокчейн-данные в единую платформу, облегчая разработчикам создание и поддержку приложений. Его уникальные особенности включают:
· Реальный Data Lake: Chainbase предоставляет реальный data lake, специально предназначенный для потоков блокчейн-данных, что позволяет получать доступ к данным мгновенно по мере их генерации.
· Двуцепочечная архитектура: Chainbase построен на Eigenlayer AVS, создавая исполнительный уровень, который формирует параллельную двуцепочечную архитектуру с алгоритмом согласования CometBFT. Этот дизайн улучшает программируемость и компонуемость кросс-цепочечных данных, поддерживая высокую пропускную способность, низкую задержку и окончательность, одновременно повышая безопасность сети через модель двойного стекинга.
· Инновационный стандарт формата данных: Chainbase вводит новый стандарт формата данных под названием "манускрипты", оптимизируя структурирование и использование данных в криптовалютной индустрии.
· Модель криптомира: обладая обширными ресурсами блокчейн-данных, Chainbase объединяет технологии моделей ИИ для создания ИИ-моделей, которые могут эффективно понимать, предсказывать и взаимодействовать с блокчейн-транзакциями.Базовая версия модели, Theia, была запущена для публичного использования.
Эти функции выделяют Chainbase среди протоколов индексирования блокчейна, особенно акцентируя внимание на доступности данных в реальном времени, инновационных форматах данных и создании более умных моделей через сочетание данных из блокчейна и вне его, что улучшает аналитические возможности.
AI-модель Chainbase, Theia, является ключевым аспектом, который отличает ее от других протоколов предоставления данных. Theia основана на модели DORA, разработанной NVIDIA, которая сочетает данные из блокчейна и вне его с временными и пространственными активностями для изучения и анализа паттернов криптовалют, используя причинное мышление для глубокого исследования потенциальной ценности и паттернов данных из блокчейна, предоставляя пользователям более интеллектуальные услуги с данными.
Услуги с поддержкой ИИ делают Chainbase не просто платформой для предоставления данных блокчейна, но и более конкурентоспособным поставщиком интеллектуальных данных. С мощными ресурсами данных и проактивным ИИ-анализом Chainbase может предоставлять более широкие аналитические данные и оптимизировать рабочие процессы обработки данных пользователей.
3.3 Space and Time
Space and Time (SxT) нацелена на создание проверяемого вычислительного слоя, который расширяет нулевые знания (zero-knowledge proofs) на децентрализованных хранилищах данных, обеспечивая надежную обработку данных для смарт-контрактов, крупных языковых моделей и предприятий. В настоящее время Space and Time привлекла $20 миллионов в своем последнем раунде финансирования серии A, который возглавили Framework Ventures, Lightspeed Faction, Arrington Capital и Hivemind Capital.
В области индексирования и валидации данных Space and Time представляет новый технологический путь — Proof of SQL. Это инновационная технология нулевых знаний (ZKP), разработанная Space and Time, которая гарантирует, что SQL-запросы, выполняемые на децентрализованных хранилищах данных, являются защищенными от подделки и проверяемыми. Когда запрос выполняется, Proof of SQL генерирует криптографическое доказательство, которое подтверждает целостность и точность результатов запроса. Это доказательство прикрепляется к результатам запроса, позволяя любому проверяющему (например, смарт-контрактам) независимо подтвердить, что данные не были изменены в процессе обработки.Традиционные блокчейн-сети обычно полагаются на механизмы консенсуса для проверки подлинности данных, в то время как Proof of SQL от Space and Time реализует более эффективный метод валидации данных. В частности, в системе Space and Time один узел отвечает за сбор данных, в то время как другие узлы проверяют их подлинность с использованием технологии zk. Такой подход изменяет ресурсоемкость нескольких узлов, которые избыточно индексируют одни и те же данные в рамках механизмов консенсуса для достижения согласия, тем самым улучшая общую производительность системы. По мере того как эта технология созревает, она становится основой для различных традиционных отраслей, ориентированных на надежность данных, чтобы использовать блокчейн-данные для создания продуктов.
В то же время SxT активно сотрудничает с AI Joint Innovation Lab от Microsoft для ускорения разработки инструментов генеративного ИИ, что облегчает пользователям доступ к блокчейн-данным через обработку естественного языка. В настоящее время в Space and Time Studio пользователи могут вводить запросы на естественном языке, которые ИИ автоматически преобразует в SQL и выполняет от имени пользователя, чтобы представить необходимые конечные результаты.
3.4 Сравнение различий
4. Заключение и прогноз
В заключение, технология индексирования блокчейн-данных эволюционировала от начального источника данных узлов, через развитие парсинга данных и индексаторов, до окончательной эволюции в полномасштабные данные, обеспечиваемые ИИ, пройдя процесс постепенного улучшения. Постоянная эволюция этих технологий не только повышает эффективность и точность доступа к данным, но и предоставляет пользователям беспрецедентный интеллектуальный опыт.
Смотрим в будущее, по мере того как технологии ИИ и новые технологии, такие как нулевые знания, продолжают развиваться, блокчейн-данные станут еще более интеллектуальными и безопасными. У нас есть основания полагать, что блокчейн-данные будут продолжать играть важную роль в качестве инфраструктуры в будущем, обеспечивая надежную поддержку для прогресса и инноваций в промышленности.
