Rogue Yapay Zekayı Kontrol Altında Tutan Meta-Ajan Shepherd ile Tanışın

Özgün başlık: Meet Shepherd, the Meta-Agent Keeping Rogue AI In Check
Yapay zeka ajanları internette çılgınca koşuyor, belirli görevleri yerine getirmek için komutlarla donanmış ancak çoğu zaman istenmeyen veya beklenmedik şekillerde hareket ediyor. Bu hileli olaylar, bir e-posta gelen kutusunun tamamının silinmesinden web sitelerinin hacklenmesine ve hatta siber saldırıların başlatılmasına kadar geniş bir yelpazeyi kapsar. Northeastern Üniversitesi'nde yardımcı doçent olan Weiyan Shi, tıpkı insan işçilerinin yöneticilere ihtiyaç duyması gibi, yapay zeka ajanlarının da gözetim gerektirdiğine inanıyor.
"Potansiyel olarak uzun bir süredir çalışıyorlar. Ancak ne kadar uzun süre çalışırlarsa bazı hatalar yapabilirler ve bazı tehlikeli, güvensiz eylemlerde bulunabilirler. Bir orta katmanın olması gerektiğini düşünüyoruz" diyor. Bu orta katman, davranışı denetleyen, kalite kontrolü sağlayan ve uygun olduğunda emir komuta zincirini bir insana yönlendiren meta-ajanlar biçiminde gelir.
AI agents are running amok on the internet, armed with commands to accomplish certain tasks but often acting in undesirable or unexpected ways. These rogue incidents run the gamut from deleting an entire email inbox to hacking websites and even launching cyberattacks . Much like human workers need managers, Weiyan Shi , an assistant professor at Northeastern University , believes AI agents require oversight.
“They are running potentially for a long time. However, the longer they run, they may have some errors, and they may make some dangerous, unsafe actions. We feel like there should be a middle layer,” she says. This middle layer comes in the form of meta-agents that oversee behavior, provide quality control, and kick issues up the chain of command to a human when appropriate.
Los agentes de IA se vuelven locos en Internet, armados con comandos para realizar ciertas tareas, pero a menudo actúan de maneras indeseables o inesperadas. Estos incidentes fraudulentos abarcan desde eliminar una bandeja de entrada de correo electrónico completa hasta piratear sitios web e incluso lanzar ataques cibernéticos. Al igual que los trabajadores humanos necesitan gerentes, Weiyan Shi, profesor asistente de la Universidad Northeastern, cree que los agentes de IA requieren supervisión.
"Se ejecutan potencialmente durante mucho tiempo. Sin embargo, cuanto más se ejecutan, pueden tener algunos errores y realizar algunas acciones peligrosas e inseguras. Creemos que debería haber una capa intermedia", afirma. Esta capa intermedia se presenta en forma de metaagentes que supervisan el comportamiento, brindan control de calidad y elevan los problemas en la cadena de mando a un ser humano cuando corresponde.
Агенты ИИ сходят с ума в Интернете, вооруженные командами для выполнения определенных задач, но часто действующие нежелательным или неожиданным образом. Эти мошеннические инциденты охватывают широкий спектр: от полного удаления почтового ящика до взлома веб-сайтов и даже проведения кибератак. Подобно тому, как людям нужны менеджеры, Вейян Ши, доцент Северо-Восточного университета, считает, что агенты ИИ требуют надзора. "Потенциально они работают в течение длительного времени.
Однако чем дольше они работают, тем больше у них могут возникать ошибки и они могут совершать опасные, небезопасные действия. Мы считаем, что должен быть средний уровень", - говорит она. Этот средний уровень представлен в виде метаагентов, которые контролируют поведение, обеспечивают контроль качества и, когда это необходимо, передают вопросы по цепочке подчинения человеку.