Начальные бенчмарки Chunking Subnet:
Сила открытого, стимулируемого конкурса
Завершено 5 сентября 2024 года

Посмотрите наш ноутбук для более подробного изучения нашей методологии и того, как запрашивать топовых майнеров.

🔗 Juptyer Notebook: https://t.co/tkufM4haT4
🔗 GitHub Repo: https://t.co/62Cqes7sDl

Мы рады сообщить, что выпустили первые бенчмарки для Chunking Subnet!

Этот бенчмарк учитывает ответ в виде чанков от майнера с самым высоким рейтингом по сравнению с лидерами отрасли @AI21Labs и @UnstructuredIO на бенчмарке вымышленного RAG.

С Top K = 5 (что означает, что в контекст включены пять самых релевантных чанков), @chunking_subnet набрал 61.9%, @UnstructuredIO 56.7% и @AI21Labs 45.7%.

Этот бенчмарк будет проводиться еженедельно и вскоре будет визуализирован на нашей панели управления субсети: https://t.co/T201iuXMaz

Примечание: Субсеть все еще на ранних стадиях развития, но начинает принимать форму! В следующем обновлении валидаторы будут псевдослучайным образом выбирать максимальный размер чанка и максимальное количество чанков, чтобы майнеры должны были оптимизировать для диапазона распространенных приложений.