@fakazliModelleri kör karşılaştırmayla sıralayan arena: İnsan tercihine dayalı en yaygın liste
Model kıyaslamasının en zor tarafı, iyi cevabın çoğu zaman ölçülebilir olmaması. Bu platform farklı bir yol izliyor: kullanıcı bir soru soruyor, iki model cevap veriyor, hangi modelin cevap verdiği gizli tutuluyor ve kullanıcı hangisini beğendiğini seçiyor. Sonuçlar satranç sıralamasına benzer bir puanlama sistemiyle tabloya dönüşüyor.
Yöntemin güçlü tarafı, gerçek kullanıcıların gerçek sorularla değerlendirme yapması. Sabit test setlerinin aksine, eğitim verisine sızmış soru sorunu yok.
Zayıf tarafı ise tercihin her zaman doğruluğu ölçmemesi. İnsanlar daha uzun, daha kendine güvenen ve daha düzenli biçimlendirilmiş cevapları beğenme eğiliminde. Yani üst sıralar kısmen üslup yarışı da olabiliyor.
Platformda kategori bazlı alt sıralamalar da var: kodlama, matematik, uzun bağlam, çok dilli kullanım. Kendi kullanım alanınıza uyan kategoriye bakmak genel sıralamaya bakmaktan daha anlamlı.
Türkçe kullananlar için not: genel sıralamada üstte olan bir model Türkçede aynı performansı göstermeyebiliyor. Çok dilli kategoriye bakmak ve mümkünse kendi metinlerinizle test etmek gerekiyor.
Yöntemin güçlü tarafı, gerçek kullanıcıların gerçek sorularla değerlendirme yapması. Sabit test setlerinin aksine, eğitim verisine sızmış soru sorunu yok.
Zayıf tarafı ise tercihin her zaman doğruluğu ölçmemesi. İnsanlar daha uzun, daha kendine güvenen ve daha düzenli biçimlendirilmiş cevapları beğenme eğiliminde. Yani üst sıralar kısmen üslup yarışı da olabiliyor.
Platformda kategori bazlı alt sıralamalar da var: kodlama, matematik, uzun bağlam, çok dilli kullanım. Kendi kullanım alanınıza uyan kategoriye bakmak genel sıralamaya bakmaktan daha anlamlı.
Türkçe kullananlar için not: genel sıralamada üstte olan bir model Türkçede aynı performansı göstermeyebiliyor. Çok dilli kategoriye bakmak ve mümkünse kendi metinlerinizle test etmek gerekiyor.
0 2 yorum