FairStress: LLM karar alma süreçlerinde adaletin daha derinlemesine bir değerlendirmesi
Özgün başlık: FairStress: A deeper evaluation of fairness in LLM decision-making
📄 Teknik Rapor | 🤗 Veri | 💻 Code Bugün, bir modelin insanları etkileyen kararlarda yaptığı seçimin ötesinde, LLM'lerdeki demografik adaleti ölçmek için bir kriter olan FairStress'i tanıtıyoruz. FairStress indirilebilir ve ayrıca model değerlendirmelerini çalıştırmak ve karşılaştırmak için açık çalışma tezgahımız Olmo-eval'e de yerleştiriyoruz. Modeller, çıktılarının insanların fırsatlarını, kaynaklarını ve bakımını etkileyebileceği, işe başvuranların taranmasından kredilerin onaylanmasına, tedavi için hastalara öncelik verilmesine ve kabul için öğrencilerin değerlendirilmesine kadar, yüksek riskli ortamlarda giderek daha fazla kullanılıyor.
Standart demografik adalet kıyaslamaları genellikle, adayların demografik kimlikleri değiştirildikten sonra, aksi takdirde aynı senaryolarda bir modelin aynı adayı seçip seçmediğini test eder.
📄 Tech Report | 🤗 Data | 💻 Code Today we’re introducing FairStress , a benchmark for measuring demographic fairness in LLMs beyond the choice a model ultimately makes in decisions impacting people. FairStress is available for download, and we’re also building it into Olmo-eval, our open workbench for running and comparing model evaluations. Models are increasingly being used in high-stakes settings where their outputs can affect people’s opportunities, resources, and care, from screening job applicants and approving loans to prioritizing patients for treatment and evaluating students for admissions.
Standard demographic fairness benchmarks often test whether a model selects the same candidate in otherwise identical scenarios after the candidates’ demographic identities are swapped.
📄 Informe técnico | 🤗 Datos | 💻 Código Hoy presentamos FairStress, un punto de referencia para medir la equidad demográfica en los LLM más allá de la elección que finalmente hace un modelo en las decisiones que afectan a las personas. FairStress está disponible para descargar y también lo estamos integrando en Olmo-eval, nuestro banco de trabajo abierto para ejecutar y comparar evaluaciones de modelos. Los modelos se utilizan cada vez más en entornos de alto riesgo donde sus resultados pueden afectar las oportunidades, los recursos y la atención de las personas, desde seleccionar a los solicitantes de empleo y aprobar préstamos hasta priorizar a los pacientes para el tratamiento y evaluar a los estudiantes para las admisiones.
Los puntos de referencia estándar de equidad demográfica a menudo prueban si un modelo selecciona al mismo candidato en escenarios por lo demás idénticos después de que se intercambian las identidades demográficas de los candidatos.
📄 Технический отчет | 🤗 Данные | 💻 Code Сегодня мы представляем FairStress, эталон для измерения демографической справедливости в LLM, помимо выбора, который модель в конечном итоге делает при принятии решений, влияющих на людей. FairStress доступен для загрузки, и мы также встраиваем его в Olmo-eval, нашу открытую рабочую среду для запуска и сравнения оценок моделей. Модели все чаще используются в условиях высоких ставок, где их результаты могут влиять на возможности, ресурсы и уход людей: от проверки претендентов на работу и одобрения кредитов до определения приоритетности пациентов для лечения и оценки студентов при поступлении.
Стандартные критерии демографической справедливости часто проверяют, выбирает ли модель одного и того же кандидата в идентичных сценариях после замены демографических идентичностей кандидатов.