Yapay Zeka Aracıları Sıfır Güven Güvenliğinin Sınırlarını Test Ediyor
Özgün başlık: AI Agents Are Testing the Limits of Zero-Trust Security
Bu makale size Queen's University Belfast tarafından sunulmaktadır. Dünyanın dört bir yanındaki birçok ekip, bir orkestratör tarafından yönetilen aracılardan oluşan bir görev gücü oluşturarak ve risk değerlendirmesini, müşteri profili oluşturmayı, eşleştirmeyi ve karar alma sürecine küçük bir genel bakışla bilgi verimini destekleyen uygulamalar oluşturarak yapay zekadan yararlanıyor. Bu aracılar için önemli bileşenlerden biri, günlüklerin yönetilmesini ve aynı karar alma yönünde sapmayı önlemek için geçmiş ilginin kullanılmamasını sağlamaktır.
Bu nedenle, sistemin, aracıların bu tür geçmiş ilişkileri silmelerinin istendiği kontrol noktalarını yerinde tutması bekleniyor. Bununla birlikte, mevcut böyle bir metodolojiye rağmen, gelecekteki bir istem, aracıların silinmesi gereken bilgileri öne çıkarmasına neden olabilir ve daha fazla bilgi ortaya çıkarmak için kandırılabilir; bu, bağlam kurtarma saldırısının klasik bir örneğidir.
This article is brought to you by Queen’s University Belfast . Several teams around the globe are leveraging AI by creating a task force of agents managed by an orchestrator and creating applications to support risk assessment, client profiling, match making, and information yield with a slight overview of decision making. One of the important components for these agents is to ensure that the logs are managed and historic relevance is not being used to avoid skewing towards same decision making.
Thus, the system is expected to keep checkpoints in place where agents are prompted to delete such historic relevance. However, despite such methodology in place, a future prompt could make the agents bring forward the information that was supposed to be deleted and can be tricked into revealing more information, which is a classic case of context recovery attack.
Este artículo fue presentado por la Queen's University de Belfast. Varios equipos en todo el mundo están aprovechando la IA creando un grupo de trabajo de agentes administrados por un orquestador y creando aplicaciones para respaldar la evaluación de riesgos, la elaboración de perfiles de clientes, la creación de coincidencias y el rendimiento de información con una ligera visión general de la toma de decisiones. Uno de los componentes importantes para estos agentes es garantizar que los registros se gestionen y que no se utilice la relevancia histórica para evitar sesgarse hacia la misma toma de decisiones.
Por lo tanto, se espera que el sistema mantenga puntos de control donde se solicite a los agentes que eliminen dicha relevancia histórica. Sin embargo, a pesar de dicha metodología, un aviso futuro podría hacer que los agentes presenten la información que se suponía debía eliminarse y se les puede engañar para que revelen más información, lo cual es un caso clásico de ataque de recuperación de contexto.
Эта статья предоставлена вам Королевским университетом Белфаста. Несколько команд по всему миру используют ИИ, создавая целевую группу агентов, управляемых оркестратором, и создавая приложения для поддержки оценки рисков, профилирования клиентов, подбора партнеров и получения информации с небольшим обзором принятия решений. Одним из важных компонентов для этих агентов является обеспечение того, чтобы журналы управлялись и не использовалась историческая значимость, чтобы избежать отклонения в сторону принятия одних и тех же решений.
Таким образом, ожидается, что система будет поддерживать контрольные точки, где агентам будет предложено удалить такую историческую значимость. Однако, несмотря на наличие такой методологии, будущий запрос может заставить агентов предоставить информацию, которая должна была быть удалена, и их можно обманом заставить раскрыть больше информации, что является классическим случаем атаки с восстановлением контекста.