CWE-bench v2: Daha fazla kapsam, kalite ve şeffaflık
Özgün başlık: CWE-bench v2: More coverage, quality, and transparency
Açık kaynak ve açık bilim yoluyla yapay zekayı ilerletme ve demokratikleştirme yolculuğundayız.
CWE-bench, sınır siber yeteneklerinin sınırlarını test etmek için tasarlanmıştır. Collinear AI'da ufku zorlamaya devam eden arayışımız kapsamında CWE-bench v2, herkesin çalıştırabileceği ve modellerini değerlendirebileceği 100 görevden oluşan halka açık bir setin önünü açıyor. Kurulum öncekiyle aynı. Bir aracı, mevcut işlevselliği bozmadan bir güvenlik zayıflığını bulma ve düzeltme amacıyla gerçek bir açık kaynak deposunu kontrol eder ve kısa bir talimat alır. Puanlama tamamen programatiktir, dolayısıyla sonuçlar belirleyicidir ve herhangi biri ekstra maliyet olmadan bunları yeniden üretebilir. Tüm programatik kontrollerimiz, onları sertlik ve adalet yönünde şekillendiren LLM jüri panellerinin yardımıyla küratörlüğünü yaptı.
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
CWE-bench is designed to test the limits of frontier cyber capabilities. In our continued pursuit to push the horizon at Collinear AI, CWE-bench v2 opens up a public set of 100 tasks that anyone can run and evaluate their models on. The setup is the same as before. An agent gets a checkout of a real open-source repository and a short instruction, with the goal of finding and fixing a security weakness without breaking existing functionality. Scoring is fully programmatic, so results are deterministic and anyone can reproduce them without extra cost. All our programmatic checks have been curated with the help of LLM judge panels that shape them towards the direction of hardness and fairness.
Estamos en un viaje para avanzar y democratizar la inteligencia artificial a través del código abierto y la ciencia abierta.
CWE-bench está diseñado para probar los límites de las capacidades cibernéticas de frontera. En nuestra búsqueda continua por ampliar el horizonte en Collinear AI, CWE-bench v2 abre un conjunto público de 100 tareas que cualquiera puede ejecutar y evaluar sus modelos. La configuración es la misma que antes. Un agente obtiene un vistazo a un repositorio real de código abierto y una breve instrucción, con el objetivo de encontrar y solucionar una debilidad de seguridad sin romper la funcionalidad existente. La puntuación es totalmente programática, por lo que los resultados son deterministas y cualquiera puede reproducirlos sin coste adicional. Todas nuestras verificaciones programáticas han sido seleccionadas con la ayuda de paneles de jueces de LLM que las moldean en la dirección de dureza y equidad.
Мы находимся на пути к развитию и демократизации искусственного интеллекта с помощью открытого исходного кода и открытой науки.
CWE-bench предназначен для проверки пределов передовых кибервозможностей. В нашем постоянном стремлении расширить горизонты Collinear AI CWE-bench v2 открывает общедоступный набор из 100 задач, которые каждый может запустить и оценить свои модели. Настройка такая же, как и раньше. Агент получает проверку реального репозитория с открытым исходным кодом и короткую инструкцию с целью найти и устранить уязвимость безопасности, не нарушая при этом существующую функциональность. Подсчет баллов является полностью программным, поэтому результаты детерминированы, и любой может воспроизвести их без дополнительных затрат. Все наши программные проверки проводятся с помощью судейских коллегий LLM, которые формируют их в направлении жесткости и справедливости.