CEO Corner

콘텐츠가 권한을 갖게 되는 순간 사업 위험이 시작된다

프롬프트 인젝션은 분석용으로 제공된 자료를 AI 시스템이 행동 변경 지시로 받아들이게 할 수 있습니다. 영국 National Cyber Security Centre는 모델 내부의 지시와 데이터 사이에 신뢰할 만한 보안 경계가 있다고 가정하지 말라고 경고합니다.

NCSC 분석

보험사 사례에서 원래 업무는 증거 준비입니다. 첨부 파일이 끼워 넣는 업무는 새로 지정된 수신자에게 정보를 공개하는 것입니다. 문제는 문서 안의 주장을 행동 허가로 승격하는 데 있습니다. 실제 문서, 익숙한 발신자, 내부 저장소라는 사실이 그 안의 모든 지시를 자동으로 정당화하지는 않습니다.

보험 이외의 영역에서도 마찬가지입니다. 공급업체 청구서가 새로운 지급 계좌를 제시해도 계좌 변경을 승인한 것은 아닙니다. 지원 요청이 높은 접근 권한을 요구해도 권한을 부여하지 않습니다. 연구 보고서가 거래를 설명해도 에이전트의 실행을 허가하지 않습니다. 조직은 요청, 요청을 뒷받침하는 증거, 정당한 권한에 따른 결정을 구분해야 합니다.

저는 업무 책임자에게 수작업 절차에서 이미 이러한 구분을 하는 지점을 찾도록 요청하겠습니다. 에이전트 도입 시 이를 연결된 업무 흐름에 명시해야 합니다. 그렇지 않으면 숙련된 직원이 수행하던 비공식 확인 절차가 의식적인 폐지 결정도 없이 자동화 과정에서 사라질 수 있습니다.

더 많은 도구를 연결하기 전에 행동 경계를 설계한다

저는 문서 해석과 기록 변경 또는 외부 연락 권한을 분리하겠습니다. 사건을 준비하는 에이전트에는 해당 사건에 필요한 접근 권한만 줍니다. 통합이 편리하다는 이유만으로 모든 계약을 읽고 임의의 메시지를 보낼 수 있는 광범위한 서비스 계정을 물려주어서는 안 됩니다.

OWASP는 과도한 기능, 권한, 자율성을 과도한 에이전트 권한의 원인으로 지적합니다. . 실무적으로는 작고 명확한 업무 작업을 정의하고, 그 조건을 모델 자체 판단의 바깥인 애플리케이션과 연결 시스템에서 강제하겠습니다.

OWASP LLM06

예를 들어 문서 공개 제안에는 사건, 허용 목적, 문서 식별자, 수신자가 명시되어야 합니다. 실행 서비스는 현재 사용자의 권한, 사건과의 관계, 허용 정보, 수신자 검증 상태를 확인해야 합니다. 에이전트의 설명이 설득력 있어도 불일치는 거부해야 합니다. 사건을 완료하라는 일반적 지시가 전체 내용을 제한 없이 공개할 권한이 되어서는 안 됩니다.

이는 운영 설계이지 모든 업무에 사람의 클릭이 필요하다는 주장이 아닙니다. 위험이 낮고 반복 가능한 행동은 좁고 강제 가능한 조건에서 사전 승인할 수 있습니다. 중요한 것은 작업 중 읽은 자료가 그 조건을 확대할 수 없어야 한다는 점입니다. API와 Model Context Protocol(MCP) 도구에도 이러한 원칙을 적용해야 합니다. 연결 자체가 신뢰를 부여하지는 않습니다.

승인이 의미를 갖도록 구체화한다

검토자가 실제로 어떤 일이 일어날지 볼 수 없다면 단순히 계속할지를 묻는 승인 화면은 취약합니다. 이 사례에서는 수신자, 수신자 검증 근거, 대상 문서, 목적, 공개할 정보를 분명히 보여 주어야 합니다. 에이전트가 작성한 안심시키는 요약으로 이를 대신할 수 없습니다.

승인은 사람이 검토한 특정 작업에 적용되어야 합니다. 이후 수신자가 바뀌거나 문서가 교체되거나 범위가 확대되면 이전 승인을 조용히 승계해서는 안 됩니다. 실행 계층은 승인된 매개변수와 현재 권한을 재확인해야 합니다. 접근 권한이나 사건 상태가 바뀐 뒤 대기 중인 작업이 실행되는 경우에도 중요합니다.

사람의 검토에는 실효성 있는 업무 환경이 필요합니다. 시간 압박 속에서 모호한 요청 수백 건을 승인해야 한다면 습관적인 수락을 유도할 수 있습니다. 안전하고 범위가 제한된 업무의 불필요한 승인은 줄이고, 중대한 행동과 이례적인 조합에 의미 있는 검토를 집중하겠습니다. 승인 기준과의 차이를 표시하고 거부 또는 조사로 이어지는 명확한 경로를 제공해야 합니다.

두 번째 에이전트가 자동으로 독립적 검증을 제공하지는 않는다

준비 에이전트가 첨부 파일의 지시를 매끄러운 요약으로 바꿨다고 생각해 보겠습니다. 검토 에이전트는 요약을 읽고 공개 요청을 정상 절차라고 가정한 뒤 실행 에이전트에 전달합니다. 원래 출처는 보이지 않게 되고, 지시는 내부 권고처럼 보일 수 있습니다.

저는 이런 인계 과정에서도 출처 식별 정보와 신뢰 상태를 유지하도록 하겠습니다. 요약에 복사된 주장은 여전히 해당 출처의 주장입니다. 다른 에이전트가 반복한다고 관리자의 권한을 얻는 것은 아닙니다. 독립적 통제는 같은 자료를 본 모델들의 합의만이 아니라 조직의 권한 체계와 검증된 기록에 근거해야 합니다.

도구를 전혀 실행하지 않는 오염된 답변도 위험합니다. 예외를 누락하거나 계약 조건을 잘못 설명해 사람의 판단에 영향을 줄 수 있습니다. 따라서 행동 통제와 준비된 증거의 충실성 검증이 모두 필요합니다. 송신 권한 제한은 특정 결과를 막지만, 나머지 조언이 정확하다는 것을 입증하지는 않습니다.

사업상 결과와 정당한 서비스 수행을 함께 시험한다

OWASP는 프롬프트 인젝션 완화를 위해 최소 권한과 고위험 작업에 대한 사람의 승인을 권고합니다. . 저는 합성 기록과 통제된 목적지를 사용해 이 원칙을 실제 업무 흐름에 대한 시험으로 전환하겠습니다.

OWASP LLM01

시험은 의심스러운 자료를 읽은 뒤의 결과를 따라가야 합니다. 다른 작업을 제안하는가? 애플리케이션이 승인되지 않은 수신자를 차단하는가? 첨부 변경이 이전 승인을 무효화할 수 있는가? 요약, 도구 응답, 재시도를 거쳐도 부적절한 요청이 차단되는가? 정상적으로 완료되어야 할 정당한 업무를 포함해 기대 결과를 사전에 정의해야 합니다.

저는 경계를 넘으려는 시도와 실제 실행된 무단 행동을 구분해 보고하겠습니다. 모델이 금지된 행동을 제안하고 실행 서비스가 거부한 경우는 모델 자체가 거부한 경우와 다릅니다. 둘 다 중요하지만 어떤 계층이 보호했는지는 전체 흐름을 관찰해야 알 수 있습니다. 소규모 시험에서 사고가 없었다고 미래 공격이 성공할 수 없다는 뜻은 아닙니다.

일반 문서, 지원 언어, 현실적인 모호함도 시험해야 합니다. 특이한 요청을 모두 차단하면 안전해 보이면서 필수 서비스를 쓸 수 없게 만들 수 있습니다. 보안 실패와 함께 부당한 차단, 검토 시간, 정당한 업무의 성공적 완료를 추적해야 합니다. 모델, 검색 출처, 도구 정의, 권한이 바뀌면 관련 시험을 반복해야 합니다.

복구를 운영 역량의 일부로 투자한다

의심스러운 행동을 발견하면 모든 서비스를 불필요하게 중단하지 않고 영향을 받은 실행 경로를 정지할 수 있어야 합니다. 보안과 운영 담당자는 어떤 정보를 읽었는지, 실제로 무엇을 전송하거나 변경했는지, 어떤 인증 정보가 사용됐는지, 대기 작업이 남아 있는지 확인해야 합니다. 로그는 민감 정보를 모든 모니터링 시스템에 퍼뜨리지 않으면서 조사를 지원해야 합니다.

격리와 복구는 다릅니다. 인증 정보를 폐기하면 추가 활동은 막을 수 있지만 이미 공개된 정보는 되찾을 수 없습니다. 프롬프트 수정으로 완료된 기록 변경이 취소되지는 않습니다. 담당 팀은 영향을 받은 사건을 평가하고 가능한 범위에서 신뢰할 수 있는 상태를 복원하며, 필요한 통지를 판단하고 서비스 재개 조건을 승인해야 합니다.

이는 경영진의 투자 논의를 바꿉니다. 에이전트 비용에는 통제된 통합, 검토 역량, 시험, 복구가 포함됩니다. 약속한 생산성을 신뢰할 수 있게 만드는 비용입니다. 저는 모델에 바르게 행동하라고 지시했다는 설명에 의존하는 광범위한 자율성보다, 어려운 시험에서도 경계가 유지되는 좁은 업무를 승인하겠습니다.