XYBench: Sorunun arkasındaki probleme yardımcı olmak

Özgün başlık: XYBench: Helping with the problem behind the question
📄 Kağıt | 🤗 Veri | 💻 Kod Gerçekten yararlı yapay zeka asistanlarının, yalnızca doğru soruyu doğru miktarda ayrıntıyla soran kullanıcılara değil, yanlış yönlendirilmiş sorular soran kullanıcılara da yardım edebilmesi gerekir. Yapay zeka asistanlarının yanlış anlamalara dayalı isteklere nasıl yanıt verdiğini test eden, 8K'dan fazla sorudan oluşan bir kıyaslama olan XYBench'i yayınlıyoruz; örneğin, gerçek sorun keklerin hala donamayacak kadar sıcak olmasıyken keklerin kaymasını sağlayan kremanın nasıl koyulaştırılacağını sormak.
XYBench, EMNLP 2026'da En İyi Kaynak Makale Ödülü'nü kazandı. Birisinin sorduğu yaklaşım ile ulaşmak istediği hedef arasındaki uyumsuzluk, XY problemi olarak bilinir: Bir kişi X'i başarmak ister, Y'nin işe yarayacağı belirli bir yaklaşımı varsayar ve Y konusunda yardım ister.
📄 Paper | 🤗 Data | 💻 Code Truly useful AI assistants need to be able to help users who ask misguided questions—not just users who ask the right question with the right amount of detail. We’re releasing XYBench , a benchmark of 8K+ questions that tests how AI assistants respond to requests based on misconceptions, such as asking how to thicken frosting that keeps sliding off cupcakes when the real problem is that the cupcakes are still too warm to frost.
XYBench won the Best Resource Paper Award at EMNLP 2026. A mismatch between the approach someone asks about and the goal they want to achieve is known as the XY problem : a person wants to accomplish X, assumes a particular approach Y will work, and asks for help with Y.
📄 Papel | 🤗 Datos | 💻 Código Los asistentes de IA verdaderamente útiles deben poder ayudar a los usuarios que hacen preguntas equivocadas, no solo a los usuarios que hacen la pregunta correcta con la cantidad adecuada de detalles. Estamos lanzando XYBench, un punto de referencia de más de 8.000 preguntas que prueba cómo los asistentes de IA responden a solicitudes basadas en conceptos erróneos, como preguntar cómo espesar el glaseado que sigue resbalándose de los cupcakes cuando el verdadero problema es que los cupcakes todavía están demasiado calientes para congelarse.
XYBench ganó el premio al Mejor Documento de Recursos en EMNLP 2026. Una discrepancia entre el enfoque sobre el que alguien pregunta y el objetivo que desea lograr se conoce como el problema XY: una persona quiere lograr X, asume que un enfoque particular Y funcionará y pide ayuda con Y.
📄 Бумага | 🤗 Данные | 💻 Код По-настоящему полезные ИИ-помощники должны быть в состоянии помогать пользователям, которые задают ошибочные вопросы, а не только пользователям, которые задают правильный вопрос с нужным количеством деталей. Мы выпускаем XYBench — тест, состоящий из более чем 8 тысяч вопросов, который проверяет, как ИИ-помощники реагируют на запросы, основанные на заблуждениях, например, спрашивают, как загустить глазурь, которая продолжает соскальзывать с кексов, когда реальная проблема заключается в том, что кексы все еще слишком теплые, чтобы их можно было заморозить.
XYBench получил награду за лучший ресурсный документ на конференции EMNLP 2026. Несоответствие между подходом, о котором кто-то спрашивает, и целью, которую он хочет достичь, известно как проблема XY: человек хочет выполнить X, предполагает, что конкретный подход Y будет работать, и просит помощи с Y.