Benchmarks Iniciales de Subred de Chunking:
El Poder de un Concurso Abierto e Incentivado
Completado el 5 de septiembre de 2024

Consulta nuestro cuaderno para un vistazo más cercano a nuestra metodología y cómo consultar a los mejores mineros.

🔗 Cuaderno de Juptyer: https://t.co/tkufM4haT4
🔗 Repositorio de GitHub: https://t.co/62Cqes7sDl

Estamos emocionados de compartir que hemos publicado los primeros benchmarks para la Subred de Chunking!

Este benchmark considera la respuesta fragmentada del minero mejor clasificado, en comparación con los líderes de la industria @AI21Labs y @UnstructuredIO, en un benchmark de RAG de ficción.

Con Top K = 5 (lo que significa que se incluyen los cinco fragmentos más relevantes como contexto), la @chunking_subnet obtuvo un 61,9 %, @UnstructuredIO un 56,7 % y @AI21Labs un 45,7 %.

Este benchmark se llevará a cabo semanalmente y pronto se visualizará en nuestro panel de subred: https://t.co/T201iuXMaz

Nota: ¡La subred aún está en sus etapas iniciales, pero está comenzando a tomar forma! El próximo parche permitirá que los validadores seleccionen de manera pseudoaleatoria el tamaño máximo de fragmento y la cantidad máxima de fragmentos, de modo que los mineros deban optimizar para una variedad de aplicaciones comunes.