Discord, AI denetleme hatasının, kullanıcıları zararsız görüntüler nedeniyle haksız yere yasakladığını itiraf ediyor

Discord, yapay zeka denetleme sistemindeki bir hatanın, e-tablolar, satranç tahtaları, oyun dokuları ve beyaz ve gri şeffaf arka planlar dahil olmak üzere zararsız görsellerin yanlışlıkla zararlı içerik olarak işaretlenmesinin ardından son iki ay içinde 8.000'den fazla kullanıcıyı yanlışlıkla yasakladığını kabul etti. Şirket, sorunun Mayıs ayından bu yana hesapları etkilediğini doğruladı ve ekibi sorunu tespit edip çözene kadar hafta sonu 200 kullanıcının daha yasaklandığını doğruladı. Etkilenen tüm hesaplar şu anda geri yüklenme sürecindedir. Bu olay, birçok platformun yasa dışı veya kötüye kullanım amaçlı materyalleri geniş ölçekte tespit etmek için giderek daha fazla otomatik sistemlere başvurması nedeniyle, yapay zeka destekli denetimi çevreleyen büyüyen zorluklardan birinin altını çiziyor. X ile ilgili ayrıntılı bir başlıkta Discord, otomatik güvenlik sisteminin, yüklenen içeriği bilinen zararlı materyallerin veritabanlarıyla eşleştirerek çalıştığını açıkladı. Teknoloji yasa dışı içeriği yakalamak için tasarlanmış olsa da şirket, bazen yanlış pozitif sonuçlar üretebileceğini kabul etti. Bir gerçek moderatör içeriği inceliyor, ancak bir hata sistemin etkilenen hesapları derhal yasaklamasına neden oldu. Şirket, "Bunun bir daha yaşanmaması için daha iyi koruma önlemleri üzerinde çalışıyoruz" diye yazdı. Sistemlerimiz içeriği bilinen zararlı materyalle eşleştirerek işaretler. Bu tür benzerlik eşleşmesi hatalı pozitif sonuçlara yol açabilir; bu nedenle Trust Safety ekibimizin bir üyesi, herhangi bir işlem yapılmadan önce işaretlenen içeriği her zaman inceler.

Amaçlanan davranış… X ve Reddit'te kullanıcılar, yalnızca kare ızgara desenleri içeren görseller yükledikleri için kalıcı olarak askıya alındıklarını iddia etti. Birkaç kullanıcı, Discord'un yapay zeka denetleme araçlarının, daha önce NSFW ve çocuk istismarı içeriklerini otomatik tespit sistemlerinden gizlemek veya gizlemek amacıyla kullanılmış olması nedeniyle ızgara benzeri kalıplara karşı giderek daha duyarlı hale geldiğini öne sürdü. Etkilenen kullanıcılar sosyal medyada hayal kırıklığını dile getiriyor; bazıları yalnızca otomatik tespite dayalı kalıcı hesap yasaklarının, özellikle iş, oyun toplulukları veya uzun mesafeli sosyal bağlantılar için Discord'a güvenen kullanıcılar için ciddi sonuçlar doğurabileceğini savunuyor. "Discord hesabını bu kadar adil olmayan bir şey yüzünden kaybetmek son derece yıkıcı olabilir ve kullanıcıları ciddi şekilde etkileyebilir ve her gün milyonlarca kullanıcı sahte AI yasaklarından etkileniyor.