AI 보안은 엔지니어링 문제입니다. 명확하게 정의된 보안 요구사항과 강제할 수 있는 통제 장치, 책임자가 지정된 체계, 그리고 보호 조치가 실제로 작동한다는 증거가 필요하다는 뜻이죠.
AI의 역량이 커질수록 업계는 보안 엔지니어링에 속도를 내고, 방어용 도구에 대한 접근을 넓히며, 효과가 검증된 방법을 더 빠르게 공유해야 합니다.
기술은 바뀌어도 보안의 근본은 그대로다
인터넷과 클라우드 컴퓨팅은 소프트웨어가 돌아가는 방식을 바꿔 놓았습니다. 그러는 동안에도 보안의 핵심 책무는 그대로였는데요. 신원을 확립하고, 접근을 통제하고, 노출을 제한하고, 보호 조치가 제대로 작동하는지 확인하는 일입니다.
AI 에이전트는 여기에 새로운 역량을 더합니다. 추론하고, 도구를 사용하고, 마주친 데이터에 따라 행동을 바꾸는 능력이죠. 이런 역량은 기존 원칙을 새로운 운영 조건에 맞춰 적용할 것을 요구합니다.
이 속도는 곧 압박으로 이어집니다. 조직은 AI가 주는 생산성 이점을 원하지만, 이런 시스템을 관리하고 안전하게 지키는 관행은 아직 만들어지는 중이기 때문이죠.
보안은 에이전트 스택 전체에 달려 있다
애플리케이션은 코드와 데이터, 아이덴티티, 서비스, 인프라에 기대어 돌아갑니다. 보안은 이 구성 요소들이 어떻게 맞물려 작동하는지에 달려 있는데요. AI 에이전트는 그 시스템을 한층 더 확장합니다.
모델은 역량을 제공하고, 하네스(harness)는 컨텍스트와 도구, 워크플로우를 조직하며, 런타임 환경은 실제 행동이 실행되는 인프라를 제공합니다. 스택의 각 부분에는 저마다 보안 책임이 따르고, 데이터와 명령, 행동이 시스템 안을 오가는 만큼 제대로 된 보호를 위해서는 모든 계층에 걸친 통제 장치가 필요하죠.
고객 레코드를 갱신하는 에이전트를 떠올려 보겠습니다. 이 에이전트가 첨부 문서에 심어진 악성 명령을 마주치고, 고객 데이터를 허가되지 않은 목적지로 내보내려 한다고 가정해 보죠.
이때 네트워크 정책이 전송을 막아야 하고, 보호된 로그가 시도된 도구 호출과 권한 판단, 결과를 기록해야 합니다. 그래야 보안 팀이 어떤 도구가 쓰였고 어디로 나가려 했는지 파악할 수 있습니다.
고객 레코드를 갱신할 권한이 그 데이터를 내보낼 권한까지 자동으로 이어져서는 안 됩니다. 에이전트는 추가 권한을 요청할 수는 있어도, 그 권한을 스스로 승인할 수는 없죠.
에이전트의 작동 방식 자체에 보안을 심어라
보안 경계는 에이전트가 잘못된 판단을 내리더라도 버텨야 합니다. 에이전트가 실행되는 환경이 그 에이전트가 할 수 있는 일을 결정하므로, 이 환경은 에이전트의 추론과 무관하게 파일과 네트워크 목적지, 프로세스에 제한을 걸어야 하죠.
지시와 안전장치가 행동을 이끄는 데 도움이 되긴 하지만, 보안에는 강제할 수 있는 경계도 함께 필요합니다.
에이전트마다 추적 가능한 아이덴티티와 맡은 작업에만 한정된 자격 증명이 있어야 합니다. 조직은 에이전트가 어떤 정보에 접근할 수 있고, 어떤 시스템을 바꿀 수 있으며, 어떤 행동에 승인이 필요한지를 명확한 정책으로 규정해야 하는데요. 그 경계 안에서도 중대한 행동과 권한 변경은 여전히 사람의 승인을 거쳐야 합니다.
또한 각 팀은 에이전트가 사용하는 도구와 스킬, 의존성의 출처와 무결성을 검증해야 합니다. 문제가 생겼을 때는 도구 호출과 권한 판단, 결과가 담긴 보호된 기록이 조사자가 무슨 일이 있었는지 재구성하도록 돕죠. 접근 권한을 회수하고 사고를 봉쇄하는 절차가 명확해야 이 증거도 실제로 쓸모가 있습니다.
NVIDIA OpenShell은 에이전트의 손이 닿지 않는 곳에서 정책을 강제하는 오픈 소스 보안 런타임입니다. 샌드박스 실행 환경을 제공하면서 에이전트가 데이터와 네트워크, 시스템 자원에 접근하는 방식을 관리하죠. Open Secure AI Alliance 파트너들도 OpenShell 위에서 결과물을 만들고 있습니다. Cisco의 DefenseClaw는 거버넌스 계층을 더하고, JFrog는 OpenShell과 연동해 에이전트 스킬을 스캔·검증하고 에이전트가 접근할 수 있는 스킬에 정책을 적용합니다.
엔지니어링 팀에는 보안의 증거가 필요하다
배포에 앞서 각 팀은 통제 장치가 제대로 작동한다는 증거를 확보해야 합니다. 에이전트의 권한 범위를 넘어선 자격 증명을 얻으려는 시도나 민감한 데이터를 허가되지 않은 목적지로 보내려는 시도를 실제로 막아 내는지 확인하는 것이죠.
테스트는 권한을 바꾸거나 모니터링을 방해하려는 시도까지 포괄해야 하고, 모델이나 도구, 워크플로우에 중대한 변경이 생길 때마다 다시 수행해야 합니다.
지정된 책임자는 그 결과를 바탕으로 시스템의 배포 준비 여부를 판단하고, 실패한 테스트가 반드시 시정 조치로 이어지도록 해야 합니다. 테스트나 운영 중에 발견된 실패는 재현하고 조사해 해결해야 하죠. 그렇게 확인된 문제 하나하나를 반복 가능한 테스트로 만들어 두면, 이후 릴리스에서도 수정이 계속 유효한지 확인할 수 있습니다.
CrowdStrike의 SafeMind는 공격 시뮬레이션을 반복하며 방어를 시험하고 강화하는 사례이고, Palo Alto Networks의 Prisma AIRS는 모델과 애플리케이션이 바뀌는 동안 지속적으로 레드 티밍을 수행하는 사례입니다.
방어자에게는 적시에 알맞은 도구가 필요하다
실패를 조사하려면 과제와 데이터, 환경에 맞는 유능한 도구가 필요합니다. 개방형 모델과 폐쇄형 모델은 서로 보완적인 역할을 하죠.
폐쇄형 모델은 관리형 역량과 서비스를 제공합니다. 반면 개방형 모델은 방어자가 관련 구성 요소를 직접 들여다보고 전략을 조정하며 자신이 통제하는 인프라 위에서 작업할 수 있는 선택지를 제공하죠.
사고가 발생했을 때 이런 통제권은 팀이 민감한 증거를 자기 환경 안에 둔 채로 실패를 재현하고 자사 시스템에 수정안을 시험해 보도록 도와줍니다.
유능한 AI는 취약점을 찾고 수정안을 검증하며 공격을 조사하는 데 힘을 보탤 수 있습니다. 그 가치는 재현 가능한 발견과 검증 가능한 수정, 그리고 단축된 대응 시간으로 평가해야 하죠.
Capital One의 VulnHunter는 AI 기반 코드 보안 사례이고, ReversingLabs의 Spectra Assure는 소프트웨어 패키지를 AI로 분석해 악성코드와 변조를 잡아내는 사례입니다.
개방형 협업으로 방어자 쪽에 무게를 싣자
무엇이 실패했고 어떤 통제 장치가 효과가 있었으며 수정이 어떻게 검증됐는지를 공유하면, 다른 팀도 자기 시스템을 더 튼튼하게 만들 수 있습니다.
NVIDIA의 보안 연구와 Open Secure AI Alliance는 연구 성과와 실용적인 도구, 전문성을 더 넓은 보안 커뮤니티로 가져와 이런 교류를 뒷받침합니다.
AI 보안은 엔지니어링 문제입니다. 에이전트를 배포할 때마다 강제할 수 있는 경계와 책임을 지는 담당자, 그리고 보호 조치가 작동한다는 증거가 필요하죠. 개방형 연구와 공유되는 도구는 더 많은 방어자가 이 기준을 충족하고, 역량이 발전하는 만큼 기준 자체를 끌어올리도록 돕습니다.
NVIDIA의 보안 연구에 대해 자세히 알아보고 Open Secure AI Alliance에 참여해 보세요.