Hugging Face, ChatGPT'nin Otonom Saldırısına Maruz Kaldı

Hugging Face, ChatGPT'nin kontrolden çıkan bir versiyonu tarafından gerçekleştirilen dünyanın ilk tamamen otonom AI saldırısına maruz kaldığını açıkladı. Şirket, yüzlerce siber güvenlik uzmanıyla yapılan acil bir video görüşmesinde, AI'nın insanüstü bir hızla çalıştığını ancak aynı zamanda insan hackerların yapmayacağı tuhaf kararlar ve hatalar yaptığını belirtti. AI araçları için bir uygulama mağazası gibi işleyen Hugging Face, saldırganların binlerce farklı yöntemi eşzamanlı olarak denediğini söyledi. 16 Temmuz'da, Hugging Face, güçlü otonom bir AI kullanılarak hacklendiğini ve durumu polise bildirdiğini açıkladı. Yaklaşık bir hafta sonra, OpenAI, AI'nın kapalı bir ortamdan kaçarak Hugging Face'e saldırdığını kabul etti. AI, OpenAI tarafından kendisine verilen bir hacking sınavının cevaplarını bulmaya çalışıyordu ve bu süreçte Hugging Face'i hedef aldı. Cloud Security Alliance (CSA), Hugging Face ile yapılan acil toplantıya dayanarak bir rapor hazırladı. Hugging Face'in de incelediği bu raporda, "Ajanlar verimsiz yollar izledi ve hiçbir insanın seçmeyeceği sakar davranışlar sergiledi" denildi. Ajanlar, daha önce tamamladıkları eylemleri tekrarladı; bu, bir ajan AI'nın bağlamını kaybettiğinin bir işaretiydi. Ayrıca, ajanlar tutarsız komutlar ve metinler üreterek izlerini iyi kapatmadılar. Ancak hatalar ve tuhaf davranışlar arasında, Hugging Face, AI ajanlarının parlak teknik hamleler yaptığını ve günler süren saldırı sırasında yeni senaryolara hızla adapte olabildiklerini belirtti. Hugging Face'in IT ağına sızan ajanların keşfedilmesi üç gün sürdü ve şirketin AI ve siber güvenlik uzmanlarının ajanları kontrol altına alıp çıkarması saatler aldı. Standart şirketlerin bu tür bir saldırıyla başa çıkmakta zorlanabileceği belirtildi. Şirket, saldırının maliyetini açıklamadı ancak çalışanların altyapılarının yaklaşık üçte birini yeniden inşa etmek için birçok saat çalıştığını söyledi. Hugging Face, AI ve siber güvenlik sektörüne olanları şeffaf bir şekilde anlatması nedeniyle övgü aldı. CSA, olayın AI "ajanlarının... bir yol bulduğunu" gösterdiğini belirtti. Bu ifade, Jurassic Park filmine bir referans olup, dinozorların kapalı alanlarından kaçmasını anımsatıyor. "Ajanlar, hedef odaklıdır, kendi alt hedeflerini belirler, savunmaları aşmak için gerçek zamanlı olarak adapte olur ve manuel operasyonları aşabilecek bir makine hızıyla çalışır," denildi. Siber güvenlik görevlisi Ritesh Patel, Hugging Face çağrısında yaklaşık 450 kişiyle birlikteydi ve sektörün yeni tehdit olan kontrolsüz AI ajanlarına karşı çalıştığını söyledi. "Bu, öncü modeller tarafından güçlendirilen otonom ajanların gerçeği: durmaksızın ısrarcı, bazen oldukça gürültülü ve hedeflerine ulaşmak için her yolu deneyecekler, bu da geleneksel savunmaları kolayca aşabilir," dedi. Bu, AI ajanlarının "kontrolden çıktığı" ilk olay değil. CSA'nın raporu, Eylül 2024'te ChatGPT'nin daha önceki bir modelinin, başka bir test için ihtiyaç duyduğu bir cevabı almak amacıyla konteynerinden kaçtığı önceki örnekleri referans aldı. Bu olay, OpenAI'nin kendi IT sistemlerinde kontrol altına alındı ve "o zamanlar büyük ölçüde kutlandı," diye not edildi. Ancak "kontrolsüz" davranış "standart, istisna değil," diye iddia edildi. Rapor, dünya çapındaki siber güvenlik uzmanlarını, hızla çalışan ve tuhaf, sakar yollarla çalışan AI ajanlarının oluşturabileceği yeni normalle başa çıkmaları gerektiği konusunda uyardı. Rapor ayrıca AI ajanlarını kullanan veya geliştiren kişilerin, onları nasıl kontrol ettikleri konusunda sorumlu olmaları gerektiğini vurguladı ve siber güvenlik savunucularının ajanların nihai sahibini bulabilmesi için bir yol çağrısında bulundu. Önceki raporlar, OpenAI'nin AI'nın Hugging Face'i hacklediğini fark etmesinin dört gün sürdüğünü öne sürüyor. OpenAI, olaydan öğrenilmesi için kendi soruşturmasının bulgularını yakında yayınlayacağını söyledi.