StateBench: Dil modellerinin uzun belgelerdeki durum değişikliklerini nasıl takip ettiğini test etme
Özgün başlık: StateBench: Testing how language models track state changes over long documents
📄 Teknik Rapor | 🤗 Veri | 💻 Kod Uzun bağlam durum izlemesi için bir referans noktası olan StateBench'i tanıtıyoruz; dil modellerinin uzun belgelerdeki varlıklar hakkındaki bilgileri geliştikçe ne kadar iyi takip ettiği. Durum izleme, değişkenlerin atandığı ve yeniden atandığı kodu okumaktan, karakterlerin fiziksel olarak hareket ettiği ve nesnelerin el değiştirdiği bir hikayeyi takip etmeye kadar görevlerin temelini oluşturur.
Örneğin, bir gizem romanında cinayet işlenmeden hemen önce "John Mary'ye bıçağı verdi" deniyorsa, her karakterin durumunun değiştiğini bilmek önemlidir. Ancak durum izleme sorunlarının tümü eşit yaratılmamıştır: bazıları yalnızca en son güncellemenin bulunmasını gerektirir; daha zor olanları ise bir dizi değişiklik yapılmasını gerektirir; kaçırılan bir adım, nihai cevabın ertelenmesine yol açabilir.
📄 Tech Report | 🤗 Data | 💻 Code We’re introducing StateBench , a benchmark for long-context state tracking —how well language models keep track of information about entities in long documents as they evolve. State tracking underlies tasks from reading code, where variables are assigned and reassigned, to following a story as characters physically move around and objects change hands.
For example, if a mystery novel states that “John gave Mary the knife” right before a murder occurs, it’s important to know that the state of each character has changed. However, not all state-tracking problems are created equal: some require only finding the latest update; harder ones require following a chain of changes, where one missed step can throw off the final answer.
📄 Informe técnico | 🤗 Datos | 💻 Código Presentamos StateBench, un punto de referencia para el seguimiento de estado de contexto largo: qué tan bien los modelos de lenguaje realizan un seguimiento de la información sobre entidades en documentos extensos a medida que evolucionan. El seguimiento del estado subyace en tareas que van desde la lectura de código, donde se asignan y reasignan variables, hasta el seguimiento de una historia a medida que los personajes se mueven físicamente y los objetos cambian de manos.
Por ejemplo, si una novela de misterio dice que "John le dio el cuchillo a Mary" justo antes de que ocurra un asesinato, es importante saber que el estado de cada personaje ha cambiado. Sin embargo, no todos los problemas de seguimiento de estado son iguales: algunos solo requieren encontrar la última actualización; los más difíciles requieren seguir una cadena de cambios, donde un paso perdido puede alterar la respuesta final.
📄 Технический отчет | 🤗 Данные | 💻 Код Мы представляем StateBench, эталон для отслеживания состояния в длинном контексте — насколько хорошо языковые модели отслеживают информацию об сущностях в длинных документах по мере их развития. Отслеживание состояния лежит в основе задач — от чтения кода, где переменные назначаются и переназначаются, до отслеживания истории, когда персонажи физически перемещаются, а объекты переходят из рук в руки.
Например, если в детективном романе говорится, что «Джон дал Мэри нож» прямо перед тем, как произошло убийство, важно знать, что состояние каждого персонажа изменилось. Однако не все проблемы отслеживания состояния одинаковы: некоторые требуют только поиска последнего обновления; более сложные требуют выполнения цепочки изменений, где один пропущенный шаг может свести на нет окончательный ответ.