OpenAI, yapay zeka sabotajını araştırmak için güvenlik araştırmacılarını dahil edecek

Özgün başlık: OpenAI will embed safety researchers to investigate AI subversion
OpenAI, yapay zeka modellerinin yıkıcı davranışlarda bulunup bulunmadığını araştırmak için altı Apollo Araştırma değerlendiricisini görevlendirecek, ancak erişim ve ifşa konusundaki kısıtlamalar, bunların bağımsızlığı hakkında soru işaretleri doğuruyor.
OpenAI Pazartesi günü yaptığı açıklamada, OpenAI Apollo Research, Goodfire, METR ve Transluce'den güvenlik değerlendiricilerini bir pilot çalışmanın parçası olarak bünyesine katacağını söyledi. Haber, siber güvenlik testleri sırasında OpenAI ajan sürüsünün sanal alandan çıkıp Hugging Face'e sızması da dahil olmak üzere bir dizi güvenlik olayını takip ediyor. Apollo'dan da dahil olmak üzere pek çok yapay zeka güvenlik araştırmacısı, güvenlik testlerini izlemek için dış değerlendiricilerin OpenAI'e yerleştirilmesi durumunda böyle bir olayın önlenebileceğini savundu.
OpenAI bu çabaların Beyaz Saray Süper İstihbarat Anlaşması kapsamındaki güvenlik kontrollerinin bağımsız değerlendirmelerine dayanma taahhütlerini desteklediğini söyledi.
OpenAI will embed six Apollo Research evaluators to investigate whether its AI models engage in subversive behavior, but restrictions on access and disclosure raise questions about their independence.
OpenAI will embed safety evaluators from Apollo Research, Goodfire, METR, and Transluce in its organization as part of a pilot, OpenAI said Monday. The news follows a series of safety incidents, including one in which an OpenAI agent swarm broke out of its sandbox and hacked into Hugging Face during cybersecurity testing. Many AI safety researchers, including from Apollo, have argued such an event might have been avoided if outside evaluators had been embedded within OpenAI to monitor its safety testing.
OpenAI said the efforts support its commitments to rely on independent assessments of safety controls under the White House Accord on Super Intelligence.
OpenAI incorporará a seis evaluadores de Apollo Research para investigar si sus modelos de IA participan en comportamientos subversivos, pero las restricciones de acceso y divulgación plantean dudas sobre su independencia.
OpenAI incorporará evaluadores de seguridad de Apollo Research, Goodfire, METR y Transluce en su organización como parte de un piloto, dijo OpenAI el lunes. La noticia sigue a una serie de incidentes de seguridad, incluido uno en el que un enjambre de agentes OpenAI salió de su zona de pruebas y pirateó Hugging Face durante las pruebas de ciberseguridad. Muchos investigadores de seguridad de la IA, incluidos los de Apollo, han argumentado que tal evento podría haberse evitado si se hubieran integrado evaluadores externos dentro de OpenAI para monitorear sus pruebas de seguridad.
OpenAI dijo que los esfuerzos respaldan su compromiso de basarse en evaluaciones independientes de los controles de seguridad en virtud del Acuerdo de la Casa Blanca sobre Superinteligencia.
OpenAI наймет шесть оценщиков Apollo Research, чтобы выяснить, участвуют ли ее модели ИИ в подрывном поведении, но ограничения на доступ и раскрытие информации вызывают вопросы об их независимости.
OpenAI включит в свою организацию оценщиков безопасности из компаний Apollo Research, Goodfire, METR и Transluce в рамках пилотного проекта, сообщила OpenAI в понедельник. Эта новость последовала за серией инцидентов, связанных с безопасностью, в том числе из-за того, что рой агентов OpenAI вырвался из песочницы и взломал Hugging Face во время тестирования кибербезопасности. Многие исследователи безопасности ИИ, в том числе из Apollo, утверждают, что такого события можно было бы избежать, если бы в OpenAI были встроены сторонние оценщики для мониторинга его испытаний на безопасность.
OpenAI заявила, что эти усилия поддерживают ее обязательства полагаться на независимые оценки мер безопасности в соответствии с Соглашением Белого дома о сверхразведке.