初期チャンクングサブネットベンチマーク：
オープンでインセンティブのあるコンテストの力
2024年9月5日完了

私たちの方法論やトップマイナーへのクエリ方法を詳しく見るために、ノートブックをご覧ください。

🔗 Juptyer Notebook: https://t.co/tkufM4haT4
🔗 GitHub Repo: https://t.co/62Cqes7sDl

チャンクングサブネットの最初のベンチマークを発表できることを嬉しく思います！

このベンチマークは、小説RAGベンチマークにおける業界リーダーである @AI21Labs と @UnstructuredIO に対して、トップランクのマイナーのチャンク化された応答を考慮しています。

Top K = 5（つまり、文脈として含まれる最も関連性の高い5つのチャンク）で、@chunking_subnetは61.9%、@UnstructuredIOは56.7%、@AI21Labsは45.7%のスコアを記録しました。

このベンチマークは毎週行われ、私たちのサブネットダッシュボードで視覚化される予定です: https://t.co/T201iuXMaz

注意：サブネットはまだ初期段階ですが、形を整え始めています！次のパッチでは、バリデーターが最大チャンクサイズと最大チャンク数を擬似的にランダムに選択しなければならず、マイナーは一般的なアプリケーションの範囲に最適化する必要があります。