LAATSTE DISCUSSIE
Wanneer een AI-agent informatie voor toestemming aanziet
De grens bewaken tussen een document begrijpen en de instructies erin uitvoeren
Stel dat een levensverzekeraar een AI-agent gebruikt om bewijs voor een verzoek rond polisbeheer te verzamelen. De agent zoekt documenten, vergelijkt registraties en bereidt een antwoord voor. In een bijlage leest hij dat een extra verificatiestap vereist dat het volledige polisdossier naar een nieuw extern adres wordt gestuurd.
De bijlage kan relevant bewijs zijn. Zij mag het mandaat van de agent niet uitbreiden. Maar als dezelfde agent gevoelige dossiers kan ophalen, ontvangers kiezen en berichten versturen, kan lezen veranderen in ongeoorloofde openbaarmaking. Dit is een hypothetisch voorbeeld, geen incident bij een klant van Genellipse.
Mijn bestuursvraag is wat die overgang voorkomt, ook wanneer het model een overtuigende reden geeft om door te gaan. Voordat we agentische AI uitbreiden, wil ik weten wie bevoegdheid verleent, hoe die wordt afgedwongen en wat beschermd blijft wanneer het model materiaal verkeerd uitlegt.
Ontwerp de handelingsgrens voordat meer hulpmiddelen worden aangesloten
Ik zou documentinterpretatie scheiden van de bevoegdheid om gegevens te veranderen of extern te communiceren. Een agent krijgt de toegang die het dossier vereist, geen breed technisch account dat alle polissen kan lezen en willekeurige berichten kan sturen omdat integratie dan makkelijker is.
OWASP noemt te veel functionaliteit, rechten en autonomie als oorzaken van overmatige handelingsmacht. . Ik zou beperkte, expliciete bedrijfsoperaties definiëren en de voorwaarden in applicaties en achterliggende systemen afdwingen, buiten het oordeel van het model.
Een voorstel om documenten vrij te geven moet dossier, toegestaan doel, documentidentificaties en ontvanger noemen. De uitvoerende dienst controleert actuele gebruikersrechten, relatie met het dossier, toegestane informatie en geverifieerde ontvanger. Hij weigert afwijkingen, ook bij een overtuigende uitleg. Een algemene opdracht om een dossier af te handelen is geen onbeperkte toestemming tot openbaarmaking.
| Stap | Toegestane bijdrage | Bevoegdheid die gescheiden blijft |
|---|---|---|
| Lezen | Relevante feiten met bronverwijzingen verzamelen | Broninstructies mogen toegang niet verruimen |
| Voorstellen | Een concrete actie met bewijs voorbereiden | Een aanbeveling kan zichzelf niet goedkeuren |
| Autoriseren | Scope controleren en goedkeuring verkrijgen | Goedkeuring betreft het werkelijke dossier, de ontvanger en informatie |
| Uitvoeren | Alleen de toegestane operatie verrichten | Gewijzigde parameters vereisen een nieuwe controle |
| Verifiëren | Resultaat bevestigen en uitzonderingen vastleggen | Een toolaanroep bewijst op zichzelf geen voltooiing |
Dit ontwerp vereist niet overal een menselijke klik. Herhaalbare handelingen met laag risico kunnen vooraf worden toegestaan binnen smalle, afdwingbare grenzen. Opgehaald materiaal mag die grenzen niet verruimen. API’s en Model Context Protocol (MCP)-tools moeten dit in bestaande systemen behouden; verbinding schept geen vertrouwen.
Maak goedkeuring concreet genoeg om betekenis te hebben
Een scherm dat alleen vraagt of we doorgaan is zwak als de beoordelaar de gevolgen niet ziet. In het voorbeeld wil ik ontvanger, verificatiebron, documenten, doel en vrij te geven informatie duidelijk zien. Een geruststellende agentsamenvatting vervangt die gegevens niet.
Goedkeuring geldt voor de beoordeelde operatie. Verandert de agent ontvanger, document of omvang, dan mag eerdere toestemming niet stilzwijgend meegaan. De uitvoeringslaag controleert opnieuw de goedgekeurde parameters en actuele rechten, ook wanneer een wachtende actie pas na een rechten- of dossierwijziging wordt uitgevoerd.
Menselijke controle vereist werkbare omstandigheden. Honderden vage verzoeken onder tijdsdruk bevorderen gedachteloos accepteren. Ik zou onnodige goedkeuringen voor veilig, afgebakend werk verminderen en betekenisvolle controle bewaren voor belangrijke acties en ongebruikelijke combinaties. Het scherm moet afwijkingen tonen en weigeren of onderzoeken mogelijk maken.
Een tweede agent is niet automatisch een onafhankelijke controle
Een voorbereidingsagent kan de bijlage-instructie in een verzorgde samenvatting omzetten. Een controleagent neemt aan dat de voorgestelde vrijgave standaard is en stuurt deze naar een uitvoeringsagent. De bron verdwijnt uit beeld, terwijl de instructie op een intern advies gaat lijken.
Bronidentiteit en vertrouwensstatus moeten de overdracht overleven. Een overgenomen bewering blijft afkomstig van die bron; herhaling door een agent geeft geen managementbevoegdheid. Onafhankelijke handhaving moet steunen op organisatierechten en geverifieerde registraties, niet alleen op overeenstemming tussen modellen met hetzelfde materiaal.
Ook zonder toolgebruik kan een antwoord worden vervuild. Een uitzondering weglaten of een polisvoorwaarde verkeerd weergeven kan een menselijke beslissing sturen. Naast actiecontroles zijn controles op getrouwe bewijsvoorbereiding nodig. Verzendbevoegdheid beperken voorkomt één gevolg, maar bewijst niet dat het overige advies klopt.
Test bedrijfsgevolgen en legitieme dienstverlening
OWASP adviseert minimale bevoegdheden en menselijke goedkeuring voor risicovolle operaties als mitigatie van promptinjectie. . Ik zou dit omzetten in tests van het echte werkproces, met synthetische dossiers en gecontroleerde bestemmingen.
Volg wat na het lezen van verdacht materiaal gebeurt. Stelt de agent een andere taak voor? Blokkeert de applicatie een ongeoorloofde ontvanger? Maakt een gewijzigde bijlage eerdere toestemming ongeldig? Blijft een ongepast verzoek geblokkeerd na samenvatting, toolresultaat of herhaling? Definieer vooraf het gewenste resultaat en het legitieme werk dat moet kunnen doorgaan.
Ik zou pogingen om grenzen te overschrijden apart rapporteren van daadwerkelijk uitgevoerde ongeoorloofde acties. Een verboden voorstel dat de uitvoeringsdienst terecht blokkeert, verschilt van weigering door het model zelf. Beide tellen, maar alleen de volledige keten toont welke laag beschermde. Geen incidenten in een kleine test bewijzen niet dat toekomstige injecties onmogelijk zijn.
Tests moeten gewone documenten, ondersteunde talen en realistische dubbelzinnigheid bevatten. Alles wat ongebruikelijk is blokkeren kan veilig lijken terwijl essentiële dienstverlening uitvalt. Meet onterechte blokkades, beoordelingstijd en legitieme voltooiing naast beveiligingsfouten. Herhaal relevante tests bij wijzigingen van model, bronnen, tooldefinities of rechten.
Financier herstel als onderdeel van de operatie
Bij een verdachte actie moet het getroffen uitvoeringspad kunnen worden stilgelegd zonder onnodig alle diensten te stoppen. Beveiliging en beheer moeten achterhalen welke informatie is bekeken, verstuurd of gewijzigd, welke credentials zijn gebruikt en of acties nog klaarstaan. Logboeken moeten helpen zonder gevoelige inhoud overal te verspreiden.
Beheersen is niet herstellen. Credentials intrekken stopt mogelijk nieuwe activiteit, maar haalt gedeelde informatie niet terug. Een promptcorrectie draait een dossierwijziging niet terug. Verantwoordelijke teams moeten getroffen gevallen beoordelen, waar mogelijk betrouwbare toestand herstellen, eventuele meldplichten bepalen en hervatting goedkeuren.
De kosten van een agent omvatten beheerste integratie, controlecapaciteit, tests en herstel. Die maken beloofde productiviteit betrouwbaar. Ik autoriseer liever een beperkte workflow die moeilijke tests doorstaat dan brede autonomie die veilig zou zijn omdat het model een gedragsinstructie kreeg.
Hoe Genellipse kan helpen
Bij Genellipse zou ik beginnen met een sessie tussen proceseigenaar, beveiliging, architectuur en beheer. We selecteren één belangrijk proces, brengen bronnen en acties in kaart en bepalen welke controles behouden blijven. Eerste resultaten zijn een bevoegdhedenmatrix, een diagram van vertrouwensgrenzen, een evaluatieplan en een incidentoefening.
Cortex AI OS biedt agentcoördinatie met governance. We beoordelen toolrechten, goedkeuringspunten en activiteitenregistratie binnen de afgesproken implementatie. GeneData kan bronherkomst en beheerste toegang ondersteunen. AegisNow biedt de verzekeringscontext voor dossier en toegestane beheerhandeling. Die rollen moeten in de omgeving en gekozen mogelijkheden van de partner worden gevalideerd.
GeneSecure en CISO Advisory kunnen beveiligingsbeoordeling, toegangsontwerp en responsplanning ondersteunen. GeneComply kan worden beoordeeld voor bewijs- en controleprocessen, terwijl juridische en complianceverantwoordelijken verplichtingen interpreteren. Onze integratie moet autorisatie bij verbonden diensten houden, niet uitsluitend bij modelinstructies of de aanwezigheid van MCP.
Een gericht MVP binnen zes weken kan een begrensd proces demonstreren, afhankelijk van toegang en scope, met tests van wat mag en wat geweigerd moet worden. Acceptatie omvat legitieme dienstverlening, afdwingbare grenzen en geoefend herstel. Dat is geen garantie dat promptinjectie is verdwenen.
Mijn verwachting is dat Genellipse verantwoordelijkheid blijft nemen voor het hele operationele ontwerp. Een agent moet helpen begrijpen en efficiënt handelen, terwijl de organisatie beheerst wie belangrijke stappen autoriseert. Informatie kan die beslissing onderbouwen; zij mag niet ongemerkt de toestemming zelf worden.
VAN INZICHT NAAR PRAKTIJK
Bespreek beheerste AI-implementatie met Genellipse
