Yapay zeka sistemleri; modeller, veri setleri, açık kaynak kodlar, eklentiler ve dış hizmet sağlayıcılardan oluşan geniş bir tedarik zincirine dayanıyor. Bu zincire sızmak yeni hedef!
Yapay zeka kullanımı işletmelerde hızla yayılırken yeni bir siber risk alanı da büyüyor. Sonuçta bir yapay zeka uygulaması kurulurken çoğu zaman tek bir yazılım satın alınmıyor. Hazır modellerden açık kaynak kod kütüphanelerine, eklentilerden API bağlantılarına, veri setlerinden bulut hizmetlerine kadar çok sayıda bileşen aynı sistem içinde buluşuyor. Bu yapı geliştirme süreçlerini hızlandırıyor. Buna karşılık işletmenin doğrudan kontrol etmediği her bileşen, saldırganlar için yeni bir giriş noktası oluşturabiliyor. Böylece klasik yazılım tedarik zinciri riski, yapay zeka modellerini ve verilerini de içine alan daha karmaşık bir yapıya dönüşüyor.
Yapay zekaya yönelik ilginin artması, bilinen uygulamaları taklit eden sahte internet sitelerini, mobil uygulamaları ve tarayıcı eklentilerini günden güne çoğaltıyor. Kullanıcı, üretken yapay zeka hizmetine ulaştığını düşünürken cihazına zararlı bir yazılım indirebiliyor ya da kurumsal hesap bilgilerini saldırgana teslim edebiliyor. Tehdit bireysel kullanıcılarla da sınırlı değil. Çalışanların kurum tarafından onaylanmamış yapay zekâ araçlarını kullanması; müşteri bilgileri, sözleşmeler, finansal veriler, kaynak kodları ve ticari sırların kontrolsüz platformlara aktarılmasına neden olabiliyor. Saldırganlar tanınmış bir yapay zeka hizmetinin adına benzeyen uygulamalar, alan adları ve eklentilerle kullanıcının merakını ve güvenini hedef alıyor.
Benzer risk yazılım geliştirme süreçlerinde de mevcut. Yapay zeka projeleri çok sayıda açık kaynak yazılım paketinden yararlanıyor. Saldırganlar bu paketlerin isimlerini taklit ederek, yazım hatalarından faydalanarak veya kullanılan bir paketin hesabını ele geçirerek zararlı kodlarını geliştirme ortamına sokabiliyor. Bir geliştiricinin yanlış paketi indirmesi; erişim anahtarlarının, bulut kimlik bilgilerinin veya şirket sistemlerine bağlanmak için kullanılan parolaların ele geçirilmesine yol açabiliyor. Zararlı bileşenin üretim ortamına taşınması halinde olay tek bir bilgisayarla sınırlı kalmıyor, müşterilere sunulan uygulamaya ve bağlantılı sistemlere kadar yayılabiliyor.
Ters bağlantı kuran kodla model zehirleme
Şubat 2025’te ReversingLabs araştırmacıları, Hugging Face üzerinde barındırılan iki modelde “nullifAI” olarak adlandırdıkları bir yöntem tespit etti. PyTorch arşivlerinin içindeki bozulmuş “pickle” dosyalarına yerleştirilen kod, mevcut güvenlik taramasından kaçabiliyor ve model dosyası açıldığında sabit bir IP adresine ters bağlantı kurmaya çalışıyordu. Bu örnek, model dosyalarının pasif içerik olarak görülmemesi gerektiğini ortaya koydu. Saldırganların amacı her zaman sisteme doğrudan erişmek olmayabilir. Bir modelin eğitim verisi, ince ayar süreci veya parametreleri değiştirilerek belirli sorulara yanlış yanıt vermesi sağlanabilir. “Model zehirleme” olarak adlandırılan bu saldırılar modelin güvenilirliğini azaltabilir, hatalı veya yönlendirilmiş çıktılar üretmesine yol açabilir ve yalnızca belirli bir komutla çalışan gizli bir arka kapı oluşturabilir.
Zehirlenmiş bir model normal testlerde doğru sonuçlar verip yalnızca belirli koşullarda farklı davranabileceği için saldırının tespit edilmesi oldukça uzun sürebilir. Bu durum, modelin karar destek, müşteri hizmetleri, finansal değerlendirme veya üretim planlama gibi kritik süreçlerde kullanılması halinde operasyonel ve finansal kayıplara neden olabilir.
Yapay zeka envanteri oluşturulmalı
İşletmelerin kullandıkları yapay zeka bileşenlerini yalnızca performanslarına göre değerlendirmesi yeterli değil. Modelin kim tarafından geliştirildiği, hangi veriyle eğitildiği, nereden indirildiği, hangi lisansa sahip olduğu ve sonradan değiştirilip değiştirilmediği de sorgulanmalı. Yine bakıldığında kaynak doğrulamasında yayıncı kimliği, dijital imza, dosya özeti, sürüm geçmişi ve güvenlik taraması birlikte değerlendirilebilir. Açık kaynak model ve paketlerin doğrudan üretim ortamına alınmadan önce izole edilmiş bir test alanında çalıştırılması, model dosyalarının mümkünse güvenli formatlarda edinilmesi ve çalıştırma yetkilerinin sınırlandırılması riski azaltabilir.
NIST’in üretken yapay zekaya uyarladığı güvenli yazılım geliştirme yaklaşımı, güvenliğin modelin geliştirilmesinden satın alınmasına, dağıtımından kullanımına kadar bütün yaşam döngüsüne yerleştirilmesini öneriyor. Bir güvenlik açığı duyurulduğunda işletmenin ilk yanıtlaması gereken soru, ilgili bileşenin hangi sistemlerde kullanıldığıdır. Bunun için klasik yazılım envanterinin yapay zeka varlıklarını da kapsayacak biçimde genişletilmesi gerekiyor.
Bu envanterde kullanılan modeller, model sürümleri, veri setleri, kod kütüphaneleri, API’ler, eklentiler, model sağlayıcıları ve bu bileşenlerin erişebildiği veriler yer almalı. Yazılım Malzeme Listesi olarak bilinen SBOM yaklaşımına benzer şekilde, yapay zeka sistemini oluşturan parçaların ve aralarındaki bağımlılıkların kaydı tutulmalı.
Envanter olmadan zararlı veya güvenlik açığı bulunan bir paketin nerede kullanıldığını belirlemek güçleşiyor. Güncelleme yapılsa dahi eski modelin ya da paketin başka bir sistemde çalışmaya devam etmesi mümkün olabiliyor.
Güncellemelerin kendisi de bir saldırı kanalına dönüşebiliyor. Güvenilir bir sağlayıcının hesabının ele geçirilmesi, güncelleme sunucusuna müdahale edilmesi veya zararlı bir sürümün sisteme eklenmesi halinde işletme saldırganın kodunu kendi eliyle kurabiliyor.
Bu nedenle yapay zeka bileşenlerinin kontrolsüz biçimde güncellenmesi yerine sürümlerin doğrulanması ve önce test ortamında incelenmesi önem taşıyor. Dijital olarak imzalanmış güncellemelerin tercih edilmesi, önceki güvenli sürüme dönüş planı hazırlanması ve kritik değişikliklerin kayıt altına alınması gerekiyor. Amaç güncellemeleri geciktirmek değil, her güncellemeyi görünür, denetlenebilir ve gerektiğinde geri alınabilir bir değişiklik haline getirmek.
Siber sigortanın kapsamı poliçeye bağlı
Yapay zeka tedarik zinciri saldırısı; veri ihlali, sistem kesintisi, fidye yazılımı, olay müdahale giderleri, veri kurtarma maliyetleri ve üçüncü kişilerin talepleri gibi sonuçlar doğurabilir. Bu zararların bir bölümü, poliçe koşullarına bağlı olarak siber sigorta kapsamında değerlendirilebilir. Saldırının bir yapay zeka bileşeni üzerinden gerçekleşmesi, oluşan her zararın otomatik olarak teminat altında olduğu anlamına gelmiyor. Poliçede tedarikçi kaynaklı kesinti, bağlı iş durması, dış hizmet sağlayıcı tanımı, bekleme süresi, veri ve yazılımın yeniden oluşturulması, sözleşmesel sorumluluklar ile fikri mülkiyet istisnaları ayrıca incelenmeli. Örneğin zehirlenmiş bir modelin beklenen performansı göstermemesi, yanlış ticari kararlar üretmesi veya modelin değiştirilmesi ve yeniden eğitilmesi için yapılan masraflar klasik siber poliçelerde açık biçimde tanımlanmamış olabilir. Yalnızca itibar kaybı, beklenen gelirin gerçekleşmemesi veya güvenlik olayıyla doğrudan ilişkilendirilemeyen model hataları da teminat tartışmasına yol açabilir.
Bu noktada da işletmeye bazı sorumluluklar düşüyor. Kullanılan yapay zeka sistemlerini sigortacıya doğru biçimde bildirmesi, kritik dış sağlayıcılarını belirlemesi ve olası bir model ya da paket ihlalinin yaratacağı iş durması senaryosunu poliçe düzenlenmeden önce değerlendirmesi hayli önem taşıyor. Yapay zeka tedarik zinciri, yazılım güvenliğinin sınırlarını genişletiyor. Artık uygulamanın kodunu korumak tek başına yeterli değil; modeli, eğitim verisini, açık kaynak paketleri, eklentileri, API’leri ve güncelleme kanallarını da aynı güvenlik çerçevesine almak gerekiyor.
Kaynağı doğrulanmış bileşenler kullanmak, ayrıntılı envanter tutmak, güncellemeleri kontrollü biçimde uygulamak, modelleri izole ortamlarda test etmek ve tedarikçilerin güvenlik uygulamalarını değerlendirmek bu yeni risk alanının temel adımlarını oluşturuyor.
Siber saldırı özetle sistemi meydana getiren parçaların arasındaki güven ilişkisine yöneliyor. Yapay zeka sisteminin ürettiği sonuca tam anlamıyla teslim olmadan, o sonucu oluşturan zincire güvenilip güvenilemeyeceğini sormak ilk adım olmalı.
