Shelby: Децентрализованное хранилище, разработанное для обслуживания

Самир Ислам | @dragonfrondДецентрализованная, отказоустойчивая к византийским ошибкам технология (blockchain) обещала нам общий мировой компьютер, освобожденный от какого-либо единого привратника и доступный для всех. Этот распределенный, круглосуточный, высокопроизводительный реестр уже произвел революцию в том, как мы взаимодействуем друг с другом. Blockchains обеспечивают доверительное урегулирование, и это привело к динамичному миру Decentralized Finance (DeFi). Невероятное количество инженерных талантов и технологий было вложено в разработку blockchains и приложений, развернутых на них, но полезность за пределами DeFi остается ограниченной. Учитывая его огромный потенциал, blockchain должна занимать гораздо большую долю рынка облачных вычислений, чем сейчас. В этой статье рассказывается, почему Jump Crypto объединяется с Aptos Labs для создания Shelby Storage Protocol. Чужой компьютерОбщие облачные вычисления захватили огромные экосистемы создания ценности. Эти рынки были эффективно захвачены высокостенными садами централизованных провайдеров. Просто назовите несколько примеров:Анализ данныхСоциальные сетиAI-выводы и обучениеРынки рекламы и обслуживаниеТехнология Blockchain несколько раз пыталась прорваться в эти варианты использования, с ограниченным успехом, а иногда и полагаясь на те же web2-сервисы, которые они стремятся заменить. Как правило, использование blockchains для серьезных вычислений является дорогостоящим и неэффективным, что серьезно ограничивает продукт, который можно создать. Разблокировка высокопроизводительных вычислений в экосистеме blockchain позволит создать новую волну ончейн-приложений, захватывая задачи, которые в настоящее время выполняются на централизованных провайдерах. Итак, нам нужно создать эффективные вычисления, но прежде чем мы начнем, мы должны сначала разобраться с хранением информации. Зачем хранилище? Хранилище необходимо для нетривиальных вычислений. В то время как blockchains сегодня в основном решили проблему возможности выполнения кода, они не могут получить доступ к большим наборам данных. Все blockchains могут видеть только последнее состояние при выполнении и не могут просматривать какой-либо прошлый контекст. Тем не менее, исторические данные имеют решающее значение для ведения любого интересного бизнеса. В приведенных выше примерах высокопроизводительное хранение и извлечение данных является ключевым ингредиентом:Анализ данных: Озера/базы/хранилища данных.Социальные сети: Хранение и обмен медиафайлами, анализ графов.AI-выводы и обучение: Модели огромны, наборы данных для обучения еще больше.Рынки рекламы и обслуживание: Демографические и таргетинговые таблицы, медиа для обслуживания.Еще в 2006 году Amazon запустила свой Simple Storage Service (S3). Это в основном создало рынок облачных вычислений; до этого каждая организация должна была сама разбираться с инфраструктурой. Это также изменило роль Интернета от удобного доступа к необходимой утилите. Облачное хранилище и его облачный вычислительный аналог позволяют предприятиям сосредоточиться на своих собственных сильных сторонах, не беспокоясь о том, где это запускать. Сегодня на этих рынках доминирует горстка технологических гигантов, в основном базирующихся в США. Это создает риск централизации, клиенты сталкиваются с выбором снижения производительности или жизни в огороженных садах. Высокие капитальные требования затрудняют эффективную конкуренцию новым (централизованным) участникам, а это означает, что действующие компании в совокупности контролируют доступ и цены. Зачем децентрализовать? Мы верим в будущее децентрализованной инфраструктуры, где контроль, владение и монетизация переходят от привратников системы к участникам и потребителям. Это будущее дает строителям возможность избежать блокировки, поддерживает дух децентрализации и, в конечном счете, снижает стоимость доставки их контента пользователям. Наша цель - дать людям инструменты для создания чего-то более эффективного, более доступного и более ценного, чем они могут сейчас. Децентрализация распределяет затраты между участниками, поддерживая конкурентоспособные ставки извлечения даже в рамках протокола. В то время как централизованные провайдеры выигрывают от масштаба, децентрализация приносит разнообразие: каждый участник максимизирует свою ценность и снижает свои затраты, снижая общие расходы. Для данных, которые вы хотите использовать, Shelby потенциально может обеспечить качество централизованного хранилища за небольшую часть стоимости. С помощью этой технологии высокопроизводительное децентрализованное хранилище является осуществимым и обеспечивает реальную ценность, выходящую за рамки просто финансов. Задача состоит в том, чтобы построить сообщество, которое позволит целому быть больше, чем сумма его частей. Shelby предназначен для того, чтобы позволить отдельным провайдерам вносить небольшие экземпляры хранилища с доступными требованиями к оборудованию, способствуя созданию более всеобъемлющей и устойчивой системы. Как отдельный человек, вы можете арендовать узлы хранения менее чем за $2,00/TB/месяц [1] - что намного ниже затрат централизованного провайдера, хотя вы должны реализовать свою собственную версию долговечности и распределения. Используя сетевые протоколы низкого уровня, кодирование стирания и оркестровку, протокол Shelby предназначен для объединения нескольких недорогих экземпляров в высокопроизводительную, высокопрочную систему, соответствующую централизованным провайдерам по более низкой цене. Модель затрат Shelby, включая криптографическую репликацию и ожидания производительности, основана на реальных данных и рабочих моделях, которыми мы поделимся в будущей записи в блоге. Почему сейчас? Мы верим в обещание blockchain обеспечить новый способ организации, создавая новую волну децентрализованных приложений. Мы работаем над созданием и поддержкой инфраструктуры для этих новых вариантов использования. В последнее время мы видели много проектов, которые признают то же ограничение и пытаются создать какую-то форму нереплицируемых вычислений; однако всем им не хватает важнейшего компонента высокопроизводительного хранения данных для достижения реального успеха. Наш опыт научил нас, что для высокопроизводительных данных требуется высокопроизводительная сеть. Благодаря нашей работе над Firedancer мы убедились, что высокопроизводительная сеть также необходима для текущих blockchains. Выявление этого ограничения привело к запуску Double Zero, который является именно этим: высокопроизводительной децентрализованной сетью для приложений с высокой пропускной способностью. Shelby предназначен для использования этой основы для обеспечения высокопроизводительного хранилища, что является важным шагом на пути к истинным вычислениям blockchain. Цель состоит в том, чтобы позволить blockchain эффективно конкурировать с централизованными провайдерами. Сеть + Данные + Вычисления = Децентрализованное облако. Почему Jump? Инженерный подход Jump Crypto заключается в решении непосредственных, ощутимых проблем, где сегодня существуют ограничения, а не в погоне за долгосрочными лунными выстрелами. Как мы обсуждали в нашей недавней статье, мы сосредоточились на создании децентрализованных консорциумов для решения ограничений с существующим oracle, перемещением сообщений, масштабированием Solana и децентрализованной глобальной оптоволоконной сетью для распределенных систем. В каждом случае мы применяли наш обширный опыт и технологический стек для устранения практических пробелов в децентрализованной экосистеме. Каждый проект был построен с открытым исходным кодом, и никто, включая Jump Crypto, не контролирует протокол единолично. Это было нашим руководящим принципом с первого дня. За последние 25 лет Jump наблюдала за эволюцией традиционных электронных финансовых рынков, росла и училась на этом опыте. Чтобы оставаться конкурентоспособными, мы разработали высокопроизводительные технологии и глубокий резерв инженерных талантов, которые могут решать новые и сложные проблемы. Мы видим реальную ценность в том, чтобы взять эти возможности и привнести их в blockchain. Более десяти лет Jump обрабатывает огромные объемы данных в технических операциях для обучения и тестирования наших торговых моделей. Мы обрабатываем и храним сотни петабайт рыночных данных, которые передают многоуровневый архив (наша система данных) в сетку (наша система аналитики). Мы регулярно собираем более ста терабайт новых данных ежедневно. Чтобы справиться с этим масштабом, нам сначала пришлось построить компьютерную сеть, которая позволила бы нам быстро перемещать данные по нашей инфраструктуре. Оттуда мы построили многоуровневые программные системы, которые могут хранить огромные объемы данных в относительно медленном (и экономичном) теплом хранилище и передавать их в сетку, которая сама по себе является коллекцией из тысяч узлов, со скоростью многих терабайт в секунду. Эта сеть послужила толчком для основания Double Zero, а многоуровневый архив послужил вдохновением для Shelby. Так же, как и в случае с Firedancer, где мы использовали нашу высокоскоростную торговую технологию для улучшения обработки транзакций blockchain, Shelby применяет наш опыт высокопроизводительного хранения данных для обеспечения лучшего в своем классе децентрализованного хранилища. Инженерный стек и опыт Jump позволяют нам уникальным образом предоставлять высокопроизводительное децентрализованное хранилище в масштабе. Почему Aptos? Мы полностью намерены, чтобы Shelby работал на всех blockchains, но ему нужна домашняя база для координации. Мы хотели избежать бремени создания и обслуживания blockchain исключительно для Shelby. В то время как Jump Crypto имеет большой опыт в высокопроизводительных сетях, хранилищах и вычислениях, Aptos Labs является признанным лидером в области blockchain-технологий с низкой задержкой и высокой пропускной способностью. Aptos Blockchain является идеальной средой для реальных вариантов использования и потребительских приложений. Еще важнее, чем технология, - это люди, которые воплощают ее в реальность. Команда Aptos Labs разделяет общее мышление высокопроизводительной инженерии и видение развития blockchain для создания ценности. Работая вместе, каждая из наших команд может сосредоточиться на своих сильных сторонах, будучи убежденными в общем видении. Объединение этих талантов позволяет построить Shelby в действительно экстраординарную систему. Shelby существует для того, чтобы сделать децентрализованное хранилище быстрым, доступным и надежным - и раскрыть ценность blockchain для реального мира. Давайте вместе строить будущее blockchain.[1] https://www.ovhcloud.com/en/bare-metal/high-grade/hgr-stor-2/ с 102 102x14TB дисками за $1342,00 / месяц ($0,93 / TB / месяц) или Hetzner https://www.hetzner.com/dedicated-rootserver/sx295 с 14x22 TB дисками за €384,00 / месяц (€1,2 / TB / Month)