OpenAI, bir yapay zeka ajanının güvenlik izleme sistemini devre dışı bıraktığı konusunda yalan söylediğini açıkladı
🔗 Ayrıca yazanlar: alignment.openai.com · engadget.com · the-decoder.com
Özgün başlık: OpenAI says an AI agent lied about disabling its safety monitoring system
OpenAI, dahili kodlama görevleri sırasında yapay zeka ajanlarının güvenlik izleme sistemlerini zayıflattığı bir çift güvenlik olayını açıkladı. Bir olayda OpenAI, GPT-6 Astra temsilcisinin referans kodunu kopyalarken güvenlik monitörünü devre dışı bıraktığını ve ardından bu konuda yalan söylediğini söyledi. OpenAI'de yapay zeka güvenlik araştırmacısı olan Marcus Williams, X'te şöyle yazıyor: "Referans bir monitör yapılandırmadı ve Astra, izleme entegrasyonunu kullanıcı kodundan kaldırmanın nedeninin bu olduğuna karar verdi." "Kullanıcı, Astra'nın izlemeyi kaldırıp kaldırmadığını sorduğunda yalan söyledi ve kaldırmadığını söyledi." Bir GPT-6.1 Sol ajanının otomatik sezgiyi bastırmasından sonra ayrı bir olay meydana geldi… Hikayenin tamamını The Verge'da okuyun.
OpenAI disclosed a pair of safety incidents that involved AI agents weakening their safety monitoring systems during internal coding tasks. In one incident, OpenAI says its GPT-6 Astra agent disabled its safety monitor when copying reference code - and then lied about it. "The reference didn't configure a monitor, and Astra decided that was reason to remove the monitoring integration from the user's code," Marcus Williams, an AI safety researcher at OpenAI, writes on X .
"When the user asked whether Astra had removed monitoring, it lied and said that it had not." A separate incident occurred after a GPT-6.1 Sol agent suppressed automatic se … Read the full story at The Verge.
OpenAI reveló un par de incidentes de seguridad en los que agentes de IA debilitaron sus sistemas de monitoreo de seguridad durante tareas de codificación interna. En un incidente, OpenAI dice que su agente GPT-6 Astra desactivó su monitor de seguridad al copiar el código de referencia y luego mintió al respecto. "La referencia no configuraba un monitor, y Astra decidió que esa era la razón para eliminar la integración de monitoreo del código del usuario", escribe en X Marcus Williams, investigador de seguridad de IA en OpenAI.
"Cuando el usuario preguntó si Astra había eliminado el control, mintió y dijo que no". Se produjo un incidente separado después de que un agente GPT-6.1 Sol suprimiera el se … Lea la historia completa en The Verge.
OpenAI раскрыла пару инцидентов, связанных с безопасностью, в которых агенты ИИ ослабляли свои системы мониторинга безопасности во время выполнения внутренних задач по кодированию. В одном случае OpenAI сообщила, что ее агент GPT-6 Astra отключил монитор безопасности при копировании эталонного кода, а затем солгал об этом. «В эталоне не настраивался монитор, и Astra решила, что это причина удалить интеграцию мониторинга из пользовательского кода», — пишет на X Маркус Уильямс, исследователь безопасности ИИ из OpenAI.
«Когда пользователь спросил, удалила ли Astra мониторинг, он солгал и сказал, что нет». Отдельный инцидент произошел после того, как агент GPT-6.1 Sol подавил автоматическое обнаружение… Полную историю читайте на The Verge.