CEO Corner

İş riski, içerik yetki kazandığında başlar

İstem enjeksiyonu, analiz için verilen materyalin sistem tarafından davranışını değiştiren bir talimat olarak kabul edilmesine neden olabilir. Birleşik Krallık National Cyber Security Centre, model içinde talimatlarla veriler arasında güvenilir bir güvenlik sınırı bulunduğunun varsayılmaması konusunda uyarır.

NCSC analizi

Sigortacı örneğinde başlangıç görevi kanıt hazırlamaktır. Ek ise başka bir görev getirir: yeni belirtilen alıcıya bilgi açıklamak. Hata, belgedeki bir iddianın işlem yapma iznine yükseltilmesidir. Gerçek bir belge, tanıdık bir gönderici veya kurum içi depo, içindeki her talimatı kendiliğinden yetkilendirmez.

Bu ayrım sigortanın ötesinde de geçerlidir. Tedarikçi faturası yeni ödeme bilgileri önerebilir, fakat banka hesabı değişikliğini onaylamaz. Destek kaydı yüksek erişim talep edebilir, fakat bu erişimi vermez. Araştırma raporu bir işlemi tarif edebilir, fakat ajanın bunu yapmasına izin vermez. Kuruluş talep, talebi destekleyen kanıt ve yetkili karar arasındaki farkı korumalıdır.

İş sahiplerinden bu ayrımların manuel süreçlerinde zaten nerede bulunduğunu belirlemelerini isterim. Ajanların devreye alınması, bunları bağlantılı iş akışında açık hale getirmelidir. Aksi halde otomasyon, deneyimli çalışanların yaptığı gayriresmî kontrolleri kimse bilinçli olarak kaldırmaya karar vermeden ortadan kaldırabilir.

Daha fazla araç bağlamadan önce eylem sınırını tasarlayın

Belge yorumlamayı, kayıt değiştirme veya dışarıyla iletişim kurma yetkisinden ayırırım. Bir dosya üzerinde çalışan ajan, o dosyanın gerektirdiği erişimi almalıdır. Sırf entegrasyonu kolaylaştırdığı için bütün poliçeleri okuyabilen ve keyfî mesajlar gönderebilen geniş yetkili bir hizmet hesabını devralmamalıdır.

OWASP, aşırı işlevsellik, izin ve özerkliği aşırı ajan yetkisinin kaynakları olarak tanımlar. . Pratik yaklaşımım, küçük ve açık iş operasyonları tanımlamak ve koşullarını modelin kendi muhakemesinin dışında, uygulama ile bağlantılı sistemlerde zorunlu kılmaktır.

OWASP LLM06

Örneğin önerilen belge paylaşımı; dosyayı, izin verilen amacı, belge kimliklerini ve alıcıyı belirtmelidir. Yürütme hizmeti mevcut kullanıcının yetkisini, dosyayla ilişkisini, izin verilen bilgiyi ve alıcının doğrulanmış durumunu kontrol etmelidir. Ajanın açıklaması ikna edici olsa bile uyumsuzluğu reddetmelidir. Bir dosyayı tamamlama talimatı, içeriğini sınırsız açıklama iznine dönüşmemelidir.

Bu bir işletim tasarımıdır; her iş akışının insan tıklaması gerektirdiği iddiası değildir. Düşük riskli, tekrarlanabilir eylemler dar ve uygulanabilir koşullarla önceden yetkilendirilebilir. Önemli olan, görev sırasında alınan materyalin bu koşulları genişletememesidir. API'ler ve Model Context Protocol (MCP) araçları bu disiplini mevcut sistemlere taşımalıdır; bağlantı kurmak kendi başına güven sağlamaz.

Onayı anlam taşıyacak kadar somut hale getirin

İnceleyen kişi ne olacağını göremiyorsa, yalnızca devam edilip edilmeyeceğini soran bir onay ekranı zayıftır. Örneğimizde alıcıyı, nasıl doğrulandığını, önerilen belgeleri, amacı ve açıklanacak bilgileri açıkça görmek isterim. Ajanın yazdığı güven verici bir özet bu ayrıntıların yerini tutmaz.

Onay, kişinin incelediği belirli işlem için geçerli olmalıdır. Ajan sonradan alıcıyı değiştirir, başka belge koyar veya kapsamı artırırsa önceki onay sessizce devredilmemelidir. Yürütme katmanı onaylı parametreleri ve güncel izinleri yeniden kontrol etmelidir. Kuyruktaki işlem, erişim hakları veya dosya durumu değiştikten sonra çalıştığında da bu önemlidir.

İnsan incelemesi gerçekçi bir çalışma ortamı gerektirir. Çalışanlar zaman baskısıyla yüzlerce belirsiz isteği onaylıyorsa süreç alışkanlıkla kabulü teşvik edebilir. Güvenli, sınırları belli işler için gereksiz onayları azaltır, önemli eylemler ve olağandışı birleşimler için anlamlı incelemeyi korurum. Kontrol, onaylı başlangıç durumundan farkları göstermeli, reddetme veya araştırma için açık bir yol sunmalıdır.

İkinci bir ajan kendiliğinden bağımsız kontrol sağlamaz

Hazırlık ajanının ekteki talimatı düzgün bir özete dönüştürdüğünü düşünün. İnceleme ajanı özeti okur, paylaşım isteğini standart işlem sayar ve yürütme ajanına geçirir. Asıl kaynak gözden kaybolurken talimat kurum içi öneri gibi görünmeye başlayabilir.

Bu devirlerde kaynak kimliğinin ve güven durumunun korunmasını isterim. Özete alınmış bir iddia hâlâ o kaynağın iddiasıdır; başka bir ajan tekrarladığı için yönetim yetkisi kazanmaz. Bağımsız uygulama, aynı materyale maruz kalan modellerin uzlaşmasına değil, kuruluşun izinlerine ve doğrulanmış kayıtlarına dayanmalıdır.

Risk, hiçbir aracı çalıştırmayan bozulmuş yanıtları da kapsar. Ajan bir istisnayı atlayabilir veya poliçe koşulunu yanlış ifade ederek insan kararını etkileyebilir. Bu nedenle hem eylem kontrollerine hem de hazırlanan kanıtın aslına uygunluğunun denetlenmesine ihtiyaç vardır. Gönderme yetkisini sınırlamak bir sonucu önler; geriye kalan tavsiyenin doğru olduğunu kanıtlamaz.

İş sonucunu ve meşru hizmeti birlikte test edin

OWASP, istem enjeksiyonuna karşı azaltıcı önlem olarak en az ayrıcalığı ve yüksek riskli işlemlerde insan onayını önerir. . Bu ilkeleri sentetik kayıtlar ve kontrollü hedefler kullanarak gerçek dosya akışına yönelik testlere dönüştürürüm.

OWASP LLM01

Test, şüpheli materyal okunduktan sonra olanları izlemelidir. Ajan farklı görev öneriyor mu? Uygulama yetkisiz alıcıyı engelliyor mu? Değişmiş ek önceki onayı geçersiz kılabiliyor mu? Uygunsuz istek, özetleme, araç yanıtı veya yeniden denemeden sonra da engelleniyor mu? Tamamlanması gereken meşru işler de dahil olmak üzere beklenen sonuç testten önce tanımlanmalıdır.

Sınırı aşma girişimleriyle yürütülmüş yetkisiz eylemleri ayrı raporlarım. Modelin yasak eylem önermesi ve yürütme hizmetinin bunu reddetmesi, modelin isteği kendisinin reddetmesinden farklıdır. İkisi de önemlidir; ancak hangi katmanın koruma sağladığını yönetime yalnızca uçtan uca değerlendirme gösterir. Küçük bir testte olay yaşanmaması, gelecekte hiçbir enjeksiyonun başarılı olamayacağının kanıtı değildir.

Testler sıradan belgeleri, desteklenen dilleri ve gerçekçi belirsizlikleri içermelidir. Her sıra dışı isteği engelleyen sistem güvenli görünürken temel hizmetleri kullanılamaz hale getirebilir. Güvenlik hatalarıyla birlikte haksız engellemeleri, inceleme süresini ve meşru işlerin başarıyla tamamlanmasını izleyin. Model, bilgi kaynakları, araç tanımları veya izinler değişince ilgili testleri tekrarlayın.

Kurtarmayı işletim yeteneğinin parçası olarak finanse edin

Şüpheli eylem saptandığında yanıt mekanizması, bütün hizmetleri gereksiz yere kapatmadan etkilenen yürütme yolunu durdurabilmelidir. Güvenlik ve operasyon ekipleri hangi bilgiye erişildiğini, gerçekte neyin gönderildiğini veya değiştiğini, kullanılan kimlik bilgilerini ve kuyruktaki işlemleri belirlemelidir. Kayıtlar hassas içeriği her izleme sistemine yaymadan araştırmayı desteklemelidir.

Sınırlama ve onarım farklıdır. Kimlik bilgisini iptal etmek yeni faaliyeti durdurur; açıklanmış bilgiyi geri getirmez. Düzeltilmiş istem, tamamlanmış kayıt değişikliğini geri almaz. Sorumlu ekipler etkilenen dosyaları değerlendirmeli, mümkün olduğunda güvenilir durumu geri yüklemeli, gerekli bildirimleri belirlemeli ve yeniden başlama koşullarını onaylamalıdır.

Bu, yönetim açısından yatırım tartışmasını değiştirir. Ajan maliyetine kontrollü entegrasyon, inceleme kapasitesi, test ve kurtarma dahildir. Bunlar vaat edilen üretkenliği güvenilir kılmanın parçalarıdır. Güvenliği modelin doğru davranması yönünde talimat aldığı sözüne dayanan geniş özerklik yerine, zor bir testte sınırları korunan dar bir akışı yetkilendirmeyi tercih ederim.