Shelby: Almacenamiento descentralizado diseñado para servir

Samir Islam | @dragonfrondLa tecnología descentralizada y tolerante a fallas bizantinas (blockchain) nos prometió una computadora mundial compartida, liberada de cualquier guardián único y accesible para todos. Este libro mayor distribuido, 24/7 y de alto rendimiento ya ha creado una revolución en la forma en que interactuamos entre nosotros. Las blockchains permiten la liquidación sin confianza, y esto ha resultado en un mundo vibrante de Decentralized Finance (DeFi). Una increíble cantidad de talento en ingeniería y tecnología se ha invertido en el desarrollo de blockchains y aplicaciones implementadas en ellas, pero la utilidad fuera de DeFi sigue siendo limitada. Dado su enorme potencial, blockchain debería tener una porción mucho mayor del mercado de cloud computing de lo que tiene actualmente. Esta publicación comparte por qué Jump Crypto se está asociando con Aptos Labs para construir el Shelby Storage Protocol. La computadora de otra personaEl cloud computing de propósito general ha capturado enormes ecosistemas de creación de valor. Estos mercados han sido efectivamente atrapados por los jardines de altos muros de los proveedores centralizados. Solo nombre algunos ejemplos: Análisis de datosRedes socialesInferencia y entrenamiento de AI Mercados de publicidad y servicioLa tecnología Blockchain ha intentado irrumpir en estos casos de uso varias veces, con un éxito limitado, y a veces confiando en esos mismos servicios web2 que buscan reemplazar. Generalmente, el uso de blockchains para la computación seria es costoso e ineficiente, lo que limita severamente el producto que se puede construir. Desbloquear la computación de alto rendimiento dentro del ecosistema blockchain empoderará una nueva ola de aplicaciones on-chain, capturando tareas que actualmente se ejecutan en proveedores centralizados. Por lo tanto, necesitamos construir computación eficiente, pero antes de comenzar con eso, primero debemos averiguar el almacenamiento de información. ¿Por qué el almacenamiento? El almacenamiento es esencial para la computación no trivial. Si bien las blockchains de hoy en día han resuelto principalmente la capacidad de ejecutar código, no pueden acceder a grandes conjuntos de datos. Todas las blockchains solo pueden ver el último estado al ejecutar y no pueden ver ningún contexto pasado. Sin embargo, los datos históricos son cruciales para ejecutar cualquier tipo de negocio interesante. En los ejemplos anteriores, el almacenamiento y la recuperación de datos de alto rendimiento son un ingrediente clave: Análisis de datos: Data lakes/bases/warehouses. Redes sociales: Almacenamiento e intercambio de medios, análisis de gráficos. Inferencia y entrenamiento de AI: Los modelos son enormes, los conjuntos de datos de entrenamiento son aún más grandes. Mercados de publicidad y servicio: Tablas demográficas y de segmentación, medios para servir. En 2006, Amazon lanzó su Simple Storage Service (S3). Esto básicamente creó el mercado de cloud computing; antes de eso, cada organización tenía que resolver la infraestructura por sí misma. Esto también cambió el papel de Internet de acceso conveniente a utilidad esencial. El almacenamiento en la nube, y su hermano cloud computing, permiten a las empresas centrarse en sus fortalezas nativas, sin tener que preocuparse por dónde ejecutarlo. Hoy en día, estos mercados están dominados por un puñado de gigantes tecnológicos, principalmente con sede en los Estados Unidos. Esto crea un riesgo de centralización, los clientes se enfrentan a la elección de un rendimiento reducido o vivir con jardines amurallados. Los altos requisitos de capital dificultan que los nuevos participantes (centralizados) compitan eficazmente, lo que significa que los titulares, en conjunto, controlan el acceso y los precios. ¿Por qué descentralizar? Creemos en el futuro de la infraestructura descentralizada, donde el control, la propiedad y la monetización cambian de los guardianes del sistema a los contribuyentes y consumidores. Este futuro ofrece a los constructores la opción de evitar el bloqueo, mantiene el espíritu de descentralización y, en última instancia, reduce el costo de entregar su contenido a los usuarios. Nuestro objetivo es dar a las personas las herramientas para construir algo más eficiente, más accesible y más valioso de lo que pueden ahora. La descentralización distribuye los costos entre los participantes, manteniendo las tasas de extracción competitivas incluso dentro de un protocolo. Mientras que los proveedores centralizados se benefician de la escala, la descentralización aporta diversidad: cada contribuyente maximiza su valor y reduce sus costos, reduciendo los gastos generales. Para los datos que desea utilizar, Shelby tiene el potencial de ofrecer calidad de almacenamiento centralizado a una fracción del costo. Con esta tecnología, el almacenamiento descentralizado de alto rendimiento es factible y ofrece un valor real más allá de las finanzas. El desafío es construir una comunidad que permita que el todo sea mayor que la suma de sus partes. Shelby está diseñado para permitir a los proveedores individuales contribuir con instancias de almacenamiento a pequeña escala con requisitos de hardware accesibles, fomentando un sistema más completo y resistente. Como individuo, puede alquilar nodos de almacenamiento por menos de $2,00/TB/mes [1], muy por debajo de los costos de los proveedores centralizados, aunque debe implementar su propia versión de durabilidad y distribución. Utilizando protocolos de red de bajo nivel, codificación de borrado y orquestación, el protocolo Shelby está diseñado para combinar múltiples instancias de bajo costo en un sistema altamente performante y altamente duradero, que coincida con los proveedores centralizados a un costo menor. El modelo de costos de Shelby, incluida la replicación criptográfica y las expectativas de rendimiento, se basa en datos reales y modelos de trabajo, que compartiremos en una futura publicación de blog. ¿Por qué ahora? Creemos en la promesa de blockchain para impulsar una nueva forma de organización, construyendo una nueva ola de aplicaciones descentralizadas. Estamos trabajando para construir y apoyar la infraestructura para estos nuevos casos de uso. Hemos visto muchos proyectos recientemente que reconocen la misma limitación y están intentando construir alguna forma de computación no replicada; sin embargo, a todos les falta el componente crucial del almacenamiento de datos de alto rendimiento para tener éxito verdaderamente. Nuestra experiencia nos enseñó que los datos de alto rendimiento requieren una red de alto rendimiento. A través de nuestro trabajo en Firedancer, nos convencimos de que también se requería una red de alto rendimiento para las blockchains actuales. La identificación de esta restricción condujo al lanzamiento de Double Zero, que es exactamente eso: una red descentralizada de alto rendimiento para aplicaciones de alto ancho de banda. Shelby está diseñado para aprovechar esa base para ofrecer almacenamiento de alto rendimiento, un paso crítico hacia la verdadera computación blockchain. El objetivo es permitir que blockchain compita eficazmente con los proveedores centralizados. Red + Datos + Computación = La Nube Descentralizada. ¿Por qué Jump? El enfoque de ingeniería de Jump Crypto es resolver problemas inmediatos y tangibles donde existen limitaciones hoy en día, en lugar de perseguir proyectos lunares a largo plazo. Como discutimos en nuestra reciente publicación, nos hemos centrado en la construcción de consorcios descentralizados para resolver las limitaciones con el oráculo existente, el movimiento de mensajes, el escalado de Solana y una red global de fibra óptica descentralizada para sistemas distribuidos. En cada caso, aplicamos nuestra amplia experiencia y pila de tecnología para abordar las brechas prácticas en el ecosistema descentralizado. Cada proyecto fue construido de código abierto, sin que nadie, incluido Jump Crypto, tenga el control singular del protocolo. Ese ha sido nuestro principio rector desde el primer día. Durante los últimos 25 años, Jump ha visto evolucionar los mercados financieros electrónicos tradicionales, creciendo y aprendiendo de esa experiencia. Para seguir siendo competitivos, hemos desarrollado tecnologías de alto rendimiento y un profundo banco de talento de ingeniería que puede resolver problemas novedosos y difíciles. Vemos un valor real en tomar estas capacidades y llevarlas a blockchain. Durante más de una década, Jump ha manejado volúmenes masivos de datos en operaciones técnicas para entrenar y probar nuestros modelos de trading. Procesamos y almacenamos cientos de petabytes de datos de mercado, que alimentan el archivo en niveles (nuestro sistema de datos) en la red (nuestro sistema de análisis). Rutinariamente capturamos más de cien terabytes de nuevos datos diariamente. Para manejar esta escala, primero tuvimos que construir una red informática que nos permitiera mover rápidamente los datos alrededor de nuestra infraestructura. A partir de ahí, construimos sistemas de software en capas que pueden almacenar vastas cantidades de datos en almacenamiento cálido relativamente lento (y rentable) y alimentarlo a la red, en sí misma una colección de miles de nodos, a muchos terabytes por segundo. Esta red provocó la fundación de Double Zero, y el archivo en niveles fue una inspiración para Shelby. Al igual que con Firedancer, donde utilizamos nuestra tecnología de trading de alta velocidad para mejorar el procesamiento de transacciones blockchain, Shelby aplica nuestra experiencia en almacenamiento de alto rendimiento para ofrecer el mejor almacenamiento descentralizado de su clase. La pila de ingeniería y la experiencia de Jump nos posicionan de manera única para ofrecer almacenamiento descentralizado de alto rendimiento a escala. ¿Por qué Aptos? Tenemos la intención de que Shelby funcione en todas las blockchains, pero necesita una base de operaciones para la coordinación. Queríamos evitar la carga de construir y mantener una blockchain exclusivamente para Shelby. Si bien Jump Crypto tiene una amplia experiencia en redes, almacenamiento y computación de alto rendimiento, Aptos Labs es un líder demostrable en tecnología blockchain de baja latencia y alto rendimiento. La Aptos Blockchain es un entorno ideal para casos de uso del mundo real y aplicaciones de consumo. Aún más importante que la tecnología son las personas que la convierten en realidad. El equipo de Aptos Labs comparte una mentalidad común de ingeniería de alto rendimiento y una visión para hacer crecer blockchain para la creación de valor. Trabajando juntos, cada uno de nuestros equipos puede centrarse en sus fortalezas, con la convicción de una visión compartida. La combinación de estos talentos hace posible construir Shelby en un sistema verdaderamente extraordinario. Shelby existe para hacer que el almacenamiento descentralizado sea rápido, asequible y confiable, y para desbloquear el valor de blockchain para el mundo real. Construyamos juntos el futuro de blockchain. [1] https://www.ovhcloud.com/en/bare-metal/high-grade/hgr-stor-2/ with 102 102x14TB drives for $1342 / month ($0.93 / TB / month) or Hetzner https://www.hetzner.com/dedicated-rootserver/sx295 with 14x22 TB drives for €384 / month (€1.2 / TB / Month)