Başlangıç Chunking Alt Ağ Benchmarkları:
Açık, Teşvik Eden Yarışmanın Gücü
5 Eylül 2024 tarihinde tamamlandı

Metodolojimize daha yakından bakmak ve en iyi madencileri sorgulamanın yolunu görmek için not defterimizi kontrol edin.

🔗 Juptyer Not Defteri: https://t.co/tkufM4haT4
🔗 GitHub Deposu: https://t.co/62Cqes7sDl

Chunking Alt Ağı için ilk benchmark'ları yayınladığımızı paylaşmaktan heyecan duyuyoruz!

Bu benchmark, en iyi sıralı madencinin parçalanmış yanıtını, sektör liderleri @AI21Labs ve @UnstructuredIO üzerinde, bir kurgusal RAG benchmark'ı üzerinde değerlendiriyor.

En İyi K = 5 (yani en ilgili beş parçanın bağlam olarak dahil edildiği), @chunking_subnet %61,9, @UnstructuredIO %56,7 ve @AI21Labs %45,7 aldı.

Bu benchmark haftalık olarak alınacak ve yakında alt ağ panelimizde görselleştirilecek: https://t.co/T201iuXMaz

Not: Alt ağ hala erken aşamalarında, ancak şekil almaya başlıyor! Bir sonraki yama, doğrulayıcıların maksimum parça boyutunu ve maksimum parça miktarını rastgele seçmelerini sağlayacak, böylece madenciler yaygın uygulamalar aralığında optimize etmek zorunda kalacaklar.