Shelby: Armazenamento Descentralizado Projetado para Servir

Samir Islam | @dragonfrondA tecnologia descentralizada e tolerante a falhas bizantinas (blockchain) prometeu-nos um computador mundial partilhado, liberto de qualquer único guardião e acessível a todos. Este livro-razão distribuído, 24 horas por dia, 7 dias por semana e de alto desempenho já criou uma revolução na forma como interagimos uns com os outros. As blockchains permitem a liquidação sem confiança, e isto resultou num mundo vibrante de Decentralized Finance (DeFi). Uma quantidade incrível de talento de engenharia e tecnologia foi investida no desenvolvimento de blockchains e aplicações implementadas nelas, mas a utilidade fora do DeFi permanece limitada. Dado o seu enorme potencial, a blockchain deveria ter uma fatia muito maior do mercado de cloud computing do que tem atualmente. Esta publicação partilha o porquê de a Jump Crypto estar a juntar-se à Aptos Labs para construir o Shelby Storage Protocol. O Computador de OutremO cloud computing de propósito geral capturou enormes ecossistemas de criação de valor. Estes mercados foram efetivamente aprisionados pelos jardins de paredes altas de fornecedores centralizados. Basta nomear alguns exemplos: Análise de dadosRedes sociaisInferência e treino de IA Mercados de anúncios e serviçoA tecnologia blockchain tentou entrar nestes casos de uso várias vezes, com sucesso limitado, e por vezes confiando nos mesmos serviços web2 que procuram substituir. Geralmente, usar blockchains para computação séria é dispendioso e ineficiente, limitando severamente o produto que pode ser construído. Desbloquear a computação de alto desempenho dentro do ecossistema blockchain irá capacitar uma nova vaga de aplicações on-chain, capturando tarefas atualmente em execução em fornecedores centralizados. Portanto, precisamos de construir computação eficiente, mas antes de começarmos com isso, devemos primeiro descobrir o armazenamento de informações. Porquê o Armazenamento? O armazenamento é essencial para a computação não trivial. Embora as blockchains de hoje tenham resolvido principalmente a capacidade de executar código, elas não conseguem aceder a grandes conjuntos de dados. Todas as blockchains só conseguem ver o estado mais recente ao executar e são incapazes de ver qualquer contexto passado. No entanto, os dados históricos são cruciais para executar qualquer tipo de negócio interessante. Nos exemplos acima, o armazenamento e recuperação de dados de alto desempenho é um ingrediente chave: Análise de dados: Data lakes/bases/warehouses. Redes sociais: Armazenamento e partilha de media, análise de grafos. Inferência e treino de IA: Os modelos são enormes, os conjuntos de dados de treino são ainda maiores. Mercados de anúncios e serviço: Tabelas demográficas e de segmentação, media para serviço. Em 2006, a Amazon lançou o seu Simple Storage Service (S3). Isto basicamente criou o mercado de cloud computing; antes disso, todas as organizações tinham de descobrir a infraestrutura por si mesmas. Isto também mudou o papel da internet de acesso conveniente para utilidade essencial. O armazenamento na cloud, e o seu irmão cloud computing, permitem que as empresas se concentrem nos seus pontos fortes nativos, sem terem de se preocupar onde executá-lo. Hoje, estes mercados são dominados por um punhado de gigantes tecnológicos, principalmente sediados nos EUA. Isto cria risco de centralização, os clientes enfrentam a escolha de desempenho reduzido ou viver com jardins murados. Os altos requisitos de capital tornam difícil para novos participantes (centralizados) competirem eficazmente, o que significa que os incumbentes, no agregado, controlam o acesso e os preços. Porquê Descentralizar? Acreditamos no futuro da infraestrutura descentralizada, onde o controlo, a propriedade e a monetização mudam dos guardiões do sistema para os contribuidores e consumidores. Este futuro dá aos construtores a opção de evitar o bloqueio, mantém o ethos de descentralização e, em última análise, reduz o custo de entrega do seu conteúdo aos utilizadores. O nosso objetivo é dar às pessoas as ferramentas para construir algo mais eficiente, mais acessível e mais valioso do que podem agora. A descentralização espalha os custos pelos participantes, mantendo as taxas de extração competitivas mesmo dentro de um protocolo. Enquanto os fornecedores centralizados beneficiam da escala, a descentralização traz diversidade: cada contribuinte maximiza o seu valor e reduz os seus custos, reduzindo as despesas gerais. Para os dados que pretende usar, o Shelby tem o potencial de fornecer qualidade de armazenamento centralizado a uma fração do custo. Com esta tecnologia, o armazenamento descentralizado de alto desempenho é viável e oferece valor real para além apenas das finanças. O desafio é construir uma comunidade que permita que o todo seja maior do que a soma das suas partes. O Shelby foi concebido para permitir que os fornecedores individuais contribuam com instâncias de armazenamento de pequena escala com requisitos de hardware acessíveis, promovendo um sistema mais abrangente e resiliente. Como indivíduo, pode alugar nós de armazenamento por menos de $2,00/TB/mês [1] - muito abaixo dos custos dos fornecedores centralizados, embora deva implementar a sua própria versão de durabilidade e distribuição. Usando protocolos de rede de baixo nível, erasure coding e orquestração, o Shelby protocol foi concebido para combinar múltiplas instâncias de baixo custo num sistema altamente performante e altamente durável, correspondendo aos fornecedores centralizados a um custo mais baixo. O modelo de custo do Shelby, incluindo replicação criptográfica e expectativas de desempenho, é baseado em dados reais e modelos de trabalho, que partilharemos numa futura publicação no blog. Porquê Agora? Acreditamos na promessa da blockchain para impulsionar uma nova forma de organização, construindo uma nova vaga de aplicações descentralizadas. Estamos a trabalhar para construir e apoiar a infraestrutura para estes novos casos de uso. Temos visto muitos projetos recentemente que reconhecem a mesma limitação e estão a tentar construir alguma forma de computação não replicada; no entanto, todos estão a perder o componente crucial de armazenamento de dados de alto desempenho para realmente terem sucesso. A nossa experiência ensinou-nos que dados de alto desempenho requerem uma rede de alto desempenho. Através do nosso trabalho no Firedancer, ficámos convencidos de que uma rede de alto desempenho também era necessária para as blockchains atuais. A identificação desta restrição levou ao lançamento do Double Zero, que é exatamente isso: uma rede descentralizada de alto desempenho para aplicações de alta largura de banda. O Shelby foi concebido para alavancar essa base para fornecer armazenamento de alto desempenho, um passo crítico para a verdadeira computação blockchain. O objetivo é permitir que a blockchain concorra efetivamente com os fornecedores centralizados. Network + Data + Compute = The Decentralized Cloud. Porquê a Jump? A abordagem de engenharia da Jump Crypto é resolver problemas imediatos e tangíveis onde existem restrições hoje, em vez de perseguir moonshots de longo prazo. Como discutimos na nossa publicação recente, concentrámo-nos na construção de consórcios descentralizados para resolver limitações com o oracle existente, mover mensagens, escalar Solana e uma rede global de fibra ótica descentralizada para sistemas distribuídos. Em cada caso, aplicámos a nossa extensa experiência e stack de tecnologia para abordar lacunas práticas no ecossistema descentralizado. Cada projeto foi construído em código aberto, sem que ninguém, incluindo a Jump Crypto, controlasse singularmente o protocolo. Esse tem sido o nosso princípio orientador desde o primeiro dia. Nos últimos 25 anos, a Jump viu os mercados financeiros eletrónicos tradicionais evoluírem, crescendo e aprendendo com essa experiência. Para permanecermos competitivos, desenvolvemos tecnologias de alto desempenho e um profundo banco de talento de engenharia que pode resolver problemas novos e difíceis. Vemos valor real em pegar nessas capacidades e trazê-las para a blockchain. Durante mais de uma década, a Jump lidou com volumes massivos de dados em operações técnicas para treinar e testar os nossos modelos de negociação. Processamos e armazenamos centenas de petabytes de dados de mercado, que alimentam o arquivo em camadas (o nosso sistema de dados) na grid (o nosso sistema de análise). Rotineiramente capturamos mais de uma centena de terabytes de novos dados diariamente. Para lidar com esta escala, primeiro tivemos de construir uma rede de computadores que nos permitisse mover rapidamente os dados em torno da nossa infraestrutura. A partir daí, construímos sistemas de software em camadas que podem armazenar vastas quantidades de dados em armazenamento warm relativamente lento (e económico) e alimentá-lo até à grid, ela própria uma coleção de milhares de nós, a muitos terabytes por segundo. Esta rede despertou a fundação do Double Zero, e o arquivo em camadas foi uma inspiração para o Shelby. Tal como com o Firedancer - onde usámos a nossa tecnologia de negociação de alta velocidade para melhorar o processamento de transações blockchain - o Shelby aplica a nossa experiência de armazenamento de alto desempenho para fornecer o melhor armazenamento descentralizado da sua classe. O stack de engenharia e a experiência da Jump posicionam-nos de forma única para fornecer armazenamento descentralizado de alto desempenho em escala. Porquê Aptos? Pretendemos totalmente que o Shelby funcione em todas as blockchains, mas precisa de uma base para coordenação. Queríamos evitar o fardo de construir e manter uma blockchain exclusivamente para o Shelby. Embora a Jump Crypto tenha uma vasta experiência em networking, armazenamento e computação de alto desempenho, a Aptos Labs é um líder demonstrável em tecnologia blockchain de baixa latência e alto rendimento. A Aptos Blockchain é um ambiente ideal para casos de uso do mundo real e aplicações de consumo. Ainda mais importante do que a tecnologia são as pessoas que a transformam em realidade. A equipa da Aptos Labs partilha uma mentalidade comum de engenharia de alto desempenho e uma visão para fazer crescer a blockchain para a criação de valor. Trabalhando em conjunto, cada uma das nossas equipas pode concentrar-se nos seus pontos fortes, com a convicção de uma visão partilhada. Combinar estes talentos torna possível construir o Shelby num sistema verdadeiramente extraordinário. O Shelby existe para tornar o armazenamento descentralizado rápido, acessível e fiável - e para desbloquear o valor da blockchain para o mundo real. Vamos construir o futuro da blockchain juntos. [1] https://www.ovhcloud.com/en/bare-metal/high-grade/hgr-stor-2/ com 102 102x14TB drives for $1.342,00 / month ($0,93 / TB / month) or Hetzner https://www.hetzner.com/dedicated-rootserver/sx295 com 14x22 TB drives for €384,00 / month (€1,2 / TB / Month)