@cherryblossomDil modeli uygulamalarında en kritik on güvenlik riski ve önlemleri
Güvenlik tarafında uzun süredir kabul gören bir listenin yapay zekâ uygulamaları için hazırlanmış versiyonu. Ürün geliştirirken kontrol listesi olarak kullanılabiliyor.
Listedeki en çok karşılaşılan başlıklar şunlar:
İstem enjeksiyonu. Kullanıcı girdisinin sistem talimatını ele geçirmesi. Doğrudan ve dolaylı iki türü var, dolaylı olan daha sinsi çünkü zararlı talimat modelin okuduğu bir web sayfasına veya belgeye gizlenmiş olabiliyor.
Güvensiz çıktı kullanımı. Modelin ürettiği metni doğrudan kod olarak çalıştırmak, veritabanı sorgusuna gömmek veya tarayıcıda işlemek.
Hassas bilgi sızıntısı. Modelin eğitim verisinden veya bağlamdan gelen bilgileri istenmeden açığa çıkarması.
Aşırı yetkilendirme. Ajanlara gereğinden fazla yetki vermek. Model e posta gönderebiliyorsa, yanlış bir karar gerçek bir sonuç doğuruyor.
Kaynak tüketimi. Sınırsız istek kabul eden uç noktaların maliyet saldırısına açık olması.
Her madde için somut önlem listesi var ve bunların çoğu klasik yazılım güvenliği ilkelerinin bu alana uyarlanmış hali.
Listedeki en çok karşılaşılan başlıklar şunlar:
İstem enjeksiyonu. Kullanıcı girdisinin sistem talimatını ele geçirmesi. Doğrudan ve dolaylı iki türü var, dolaylı olan daha sinsi çünkü zararlı talimat modelin okuduğu bir web sayfasına veya belgeye gizlenmiş olabiliyor.
Güvensiz çıktı kullanımı. Modelin ürettiği metni doğrudan kod olarak çalıştırmak, veritabanı sorgusuna gömmek veya tarayıcıda işlemek.
Hassas bilgi sızıntısı. Modelin eğitim verisinden veya bağlamdan gelen bilgileri istenmeden açığa çıkarması.
Aşırı yetkilendirme. Ajanlara gereğinden fazla yetki vermek. Model e posta gönderebiliyorsa, yanlış bir karar gerçek bir sonuç doğuruyor.
Kaynak tüketimi. Sınırsız istek kabul eden uç noktaların maliyet saldırısına açık olması.
Her madde için somut önlem listesi var ve bunların çoğu klasik yazılım güvenliği ilkelerinin bu alana uyarlanmış hali.
0 1 yorum