Araştırmacılar uyarıyor: "İnterneti zehirlemek" ChatGPT gibi modellerin davranışını tehdit ediyor

Araştırmacılar, ChatGPT ve Gemini gibi dil tabanlı yapay zeka modellerinin, internette yanıltıcı metinler girilerek manipüle edilebileceğini - bu duruma "veri zehirleme" denir - ve bunun yanlış veya belirsiz içerik üretimine yol açabileceğini belirtiyorlar.

Sonuçların özeti

Britanya Yapay Zeka Merkezi, Alan Turing Enstitüsü ve Entropic şirketinden ekipler, yaklaşık 250 kirli belgenin girişinin modellerin çıktıları üzerinde olumsuz bir etki yaratmak için yeterli olduğunu gösteren bir eğitim deneyi gerçekleştirdi. Ardından, modeller belirsiz ve güvenilir olmayan metinler üretti, bu da kötü niyetli aktörlerin sistemlerin davranışları üzerinde ne kadar kolay etkili olabileceğini gösteriyor.

Saldırı nasıl gerçekleşiyor?

Saldırı, internetteki kamuya açık yerlerde (kişisel siteler, bloglar, Wikipedia vb.) sahte veya kirli makalelerin ve gönderilerin yayılmasına dayanıyor; bu materyaller daha sonra modellerin eğitimi veya güncellenmesinde kullanılan veri setinin bir parçası haline geliyor. Araştırmacılara göre, yaklaşık 250 kirli makale oluşturmak, modelin davranışını değiştirmek için yeterli olabilir.

Bunun tehlikeli olmasının nedeni nedir?

Çoğu model, internetteki genel verilere dayanarak eğitilmektedir, bu nedenle herhangi bir sahte içerik öğrenme için potansiyel bir kaynak haline gelir.

Veri zehirleme, yapay zekanın hassas görevlerde (tıbbi, hukuki, güvenlik) güvenilirliğini zayıflatır.

Saldırı, uygulanması nispeten kolaydır ve riskleri geniş çaplıdır çünkü kurbanlar manipülasyonu hızlı bir şekilde fark etmeyebilirler.


Araştırmacıların önerileri ve beklenen etkiler

Araştırmacılar şunları önermektedir:

Veri kaynaklarının eğitimde kullanılmadan önce filtreleme ve doğrulama mekanizmalarının sıkılaştırılması.

Kirli içeriği tespit etmek ve veri kaynaklarını izlemek için araçların geliştirilmesi.

Yapay zeka modellerinin güncellenmesi süreçlerinde güçlü şeffaflık standartlarının uygulanması.


Araştırmacılar, etkili önlemler alınmaması durumunda, yapay zekaya güvenli bir şekilde bağımlılığı sınırlayabileceğine dikkat çekiyorlar.