Coarena - Bilgisayar kullanımına yönelik modelleri kıyaslamak için topluluk odaklı bir arena
Özgün başlık: Coarena - A community-driven arena to benchmark models for computer-use
Bir zamanlar bir bilgisayar kullanım aracısı oluşturduk ve onu bu alandaki en büyük kıyaslamada 2. sıraya yerleştirdik, ancak bu süreçte bir şeyin farkına vardık, bu kıyaslamaların ne kadar eski ve verimsiz olduğu ve bu görevlerin nasıl gittiğini tam anlamıyla yansıtmadığı. Bu yüzden topluluk liderliğindeki bir kıyaslama alanının gidilecek yol olacağını düşündük. https: coarena.ai . Sadece bir görevi yerleştirmeniz gerekiyor ve gizli modellerin bulunduğu iki yan yana pencere görünecek ve aynı görevi yapacak ve sonunda hangisinin daha iyi sonuç verdiğini (ya da hiçbirini yapmadığını) oylayacaksınız. Tüm modelleri, şu ana kadar görevlerde nasıl performans gösterdikleri temel alınarak sıraladığımız bir sıralama tablomuz var, o yüzden lütfen buna göz atın! Küçük bir ön bilgi: OpenAI başarı açısından baskın gibi görünüyor ama hız açısından aslında başka bir şey. Bu hala oldukça yeni ve fikirlere ve geri bildirimlere oldukça açığız, bu yüzden her türlü fikirden memnuniyet duyarız.