初始Chunking Subnet基准测试：
开放的奖励竞赛的力量
完成于2024年9月5日

查看我们的笔记本，以更深入地了解我们的方法论以及如何查询顶级矿工。

🔗 Juptyer Notebook: https://t.co/tkufM4haT4
🔗 GitHub Repo: https://t.co/62Cqes7sDl

我们很高兴地分享，我们发布了Chunking Subnet的第一个基准测试！

本基准测试考虑了排名最高的矿工相对于行业领导者@AI21Labs和@UnstructuredIO在虚构RAG基准上的分块响应。

在Top K = 5（意味着包含作为上下文的五个最相关的分块）情况下，@chunking_subnet的得分为61.9%，@UnstructuredIO为56.7%，@AI21Labs为45.7%。

该基准测试将每周进行，并很快在我们的子网仪表板上可视化：https://t.co/T201iuXMaz

注意：子网仍处于早期阶段，但开始成型！下一个补丁将让验证者伪随机选择最大分块大小和最大分块数量，以便矿工必须针对一系列常见应用进行优化。