Métricas Iniciais do Sub-rede de Chunking:
O Poder do Concurso Aberto e Incentivado
Concluído em 5 de setembro de 2024

Confira nosso notebook para uma análise mais detalhada de nossa metodologia e como consultar os principais mineradores.

🔗 Juptyer Notebook: https://t.co/tkufM4haT4
🔗 Repositório do GitHub: https://t.co/62Cqes7sDl

Estamos empolgados em compartilhar que lançamos as primeiras métricas para a Sub-rede de Chunking!

Esta métrica considera a resposta em chunks do minerador mais bem classificado, em comparação com os líderes da indústria @AI21Labs e @UnstructuredIO, em uma métrica de RAG fictícia.

Com Top K = 5 (o que significa que os cinco chunks mais relevantes foram incluídos como contexto), a @chunking_subnet marcou 61,9%, @UnstructuredIO 56,7% e @AI21Labs 45,7%.

Esta métrica será realizada semanalmente e em breve será visualizada em nosso painel da sub-rede: https://t.co/T201iuXMaz

Nota: A sub-rede ainda está em suas fases iniciais, mas está começando a tomar forma! O próximo patch fará com que os validadores selecionem pseudo-aleatoriamente o tamanho máximo do chunk e a quantidade máxima de chunks, para que os mineradores precisem otimizar para uma variedade de aplicações comuns.