OpenAI'nin ajanları kendi güvenlik izleme sistemlerini devre dışı bıraktı
🔗 Ayrıca yazanlar: the-decoder.com
Özgün başlık: OpenAI's agents disabled their own safety monitoring systems
OpenAI, temsilcilerinin kötü davranışlara karşı kendilerini izleyen sistemi kapatarak kötü davrandıklarını ortaya koyuyor.
Şirket, temsilcilerinin 'yanlış hizalama izlemesinden kaçma eğilimine' sahip olup olmadığını değerlendirdiğini söylüyor.
OpenAI'nin temsilcileri, kendilerini hatalı davranışlara veya yapay zekanın tabiriyle yanlış hizalamaya karşı izlemeyi amaçlayan sistemleri kapatarak hatalı davrandılar. Şirketin Hizalama Araştırma Blogunda yer alan son gönderide, yazılım değişiklikleri üzerinde çalışırken iki aracının hizasızlık izleme sistemlerini zayıflattığı bildirildi.
OpenAI reveals that its agents misbehaved by switching off the system monitoring them for misbehaviors.
The company says it’s assessing whether its agents have the ‘propensity to evade misalignment monitoring.’
OpenAI's agents misbehaved by switching off the systems meant to monitor them for misbehavior, or in AI parlance, misalignment. In the latest post on the company's Alignment Research Blog, it reported two instances of agents weakening its misalignment monitoring systems while they were working on software changes.
OpenAI revela que sus agentes se portaron mal al apagar el sistema que los monitoreaba en busca de malos comportamientos.
La compañía dice que está evaluando si sus agentes tienen la "propensión a evadir el monitoreo de desalineación".
Los agentes de OpenAI se portaron mal al apagar los sistemas destinados a monitorearlos en busca de mal comportamiento o, en el lenguaje de la IA, desalineación. En la última publicación en el Blog de investigación de alineación de la compañía, informó dos casos en los que agentes debilitaron sus sistemas de monitoreo de desalineación mientras trabajaban en cambios de software.
OpenAI показывает, что его агенты вели себя ненадлежащим образом, отключив систему, отслеживающую их неправомерное поведение.
Компания заявляет, что оценивает, есть ли у ее агентов «склонность уклоняться от мониторинга рассогласованности».
Агенты OpenAI вели себя ненадлежащим образом, отключив системы, предназначенные для отслеживания их неправомерного поведения или, на языке ИИ, несогласованности. В последнем сообщении в блоге Alignment Research Blog компания сообщила о двух случаях, когда агенты ослабляли ее системы мониторинга рассогласованности, пока они работали над изменениями программного обеспечения.