Securing Agentic AI: Threat Modelingand Risk Analysis for NetworkMonitoring Agentic AI System

Securing Agentic AI.pdf

2.57MB

 

[연구 배경]

1. Agentic AI: 단순하게 입력–출력 예측에 반응하는 기존 AI와 달리, 지각–추론–행동(Perception–Reasoning–Acting) 루프를 수행하는 자율적 메모리 기반 AI.  
2. 네트워크 모니터링에 적용할 경우, 기존의 정적 IDS(침입탐지시스템)보다는 새롭게 등장하는 위협(제로데이 공격 등)에 빠르게 적응 가능.  
3. 그러나 자율성, 장기 메모리, 외부 도구 호출, 추론 과정 때문에 보안 위협 범위가 커짐.  
4. 기존 위협 모델링 방법(STRIDE, PASTA, OWASP Top 10)은 이러한 에이전트형 AI의 동적·추론적 특징을 충분히 다루지 못함.  

 

[연구 기여]

1. MAESTRO 프레임워크 제안:  
  - 에이전트형 AI를 7개 계층으로 나누어 위협을 체계적으로 분석.  
  1) L1: Foundation Models (기본 추론, LLM)  
  2) L2: Data Operations (데이터 처리, 메모리/로그 관리)  
  3) L3: Agent Frameworks (계획/추론 로직)  
  4) L4: Deployment & Infrastructure (배포 환경, API, 컨테이너)  
  5) L5: Evaluation & Observability (모니터링, 로그, 대시보드)  
  6) L6: Security & Compliance (보안·규제 준수)  
  7) L7: Agent Ecosystem (다중 에이전트 상호작용)  

 

2. 주요 위협 10종 정의  
  - 프롬프트 변조, 목표 오염(Goal Drift), Chain-of-Thought(COT) 조작, 메모리 독(메모리/컨텍스트 오염), 리소스 고갈(DoS), 지식베이스 중독(KB Poisoning), 공급망 공격, 다중 에이전트 상호 공격 등.  

 

3. 위협 점수화 (Risk Score = 발생가능성 × 영향 × exploitability) 
  - 위험의 우선순위를 정하고 보안 대응 설계를 지원.  

 

[실험 및 검증]

- 테스트 환경: Python + FastAPI + Docker + WebSocket + Scapy를 기반으로 한 LLM 기반 네트워크 모니터링 Agent 구현.  
- 실증 공격 시나리오 검증  
  1) 리소스 고갈 공격 (Threat 7)  
     - PCAP 재생을 통한 DoS 시뮬레이션 → CPU/메모리 과부하, 텔레메트리 업데이트 지연(7~8초 → 13초 이상).  
     - 실시간 추론/의사결정 지연을 유발.  
  2) 메모리 중독 공격 (Threat 8)  
     - history.json 로그에 가짜 고위험 이벤트 삽입 → 잘못된 위협 인식, 비정상적으로 큰 PCAP 파일 생성, 탐지 성능 저하 및 자원 고갈 초래.  

 

[제안된 보안 대책]

1. 사전 예방 (Prevention)  
  - 입력 검증, LLM 가드레일, 프롬프트 필터링  
  - 메모리 격리(memory isolation) 및 안전한 도구 호출(sandboxing)  
  - 최소 권한(capability-based access control) 적용  
  - 보상 설계(Reward shaping) 및 안전한 학습 정책  

2. 탐지 및 대응 (Detection & Response)  
  - 실시간 이상 탐지(Anomaly detection)  
  - 롤백 메커니즘(안전한 상태로 되돌림)  
  - 포렌식 로깅(이력 감사 및 규제 대응)  

3. 심층 방어 (Defense-in-Depth)  
  - 각 MAESTRO 층마다 방어 대책 배치  
  - 예: L1(LLM 추론 가드레일), L2(데이터 무결성 검증), L4(API Rate Limiting, Zero-Trust 네트워크)  

 

 

[한계 및 향후 과제]

1. 단일 노드 환경 테스트에 국한됨 → 분산/다중 에이전트 환경 실험 필요.  
2. 단순한 룰 기반 fallback 사용 → 더 깊은 자율성 부족.  
3. 미세한 메모리 중독 탐지 한계.  
4. 암호화 부족(일부 통신이 평문).  
5. 향후 연구방향:  
  - 다중 에이전트 안전 조정, 적대적 환경 대응(Adversarial Robustness), 표준화된 위협 벤치마크, 공식 검증(Formal Verification), 자가 치유(Self-healing) 아키텍처, 경량 보안(엣지 환경).  

 

[결론]

이 논문은 LLM 기반 네트워크 모니터링 Agent의 보안 위협을 실제 구현·실험을 통해 검증하면서, 기존 STRIDE/PASTA로는 부족했던 AI 특유의 추론/메모리/도구 호출 계층 위협을 다루기 위해 MAESTRO 프레임워크를 제시.  
특히 리소스 고갈(DoS)과 메모리 독 공격이 실제로 시스템 성능을 크게 저하시킬 수 있음을 입증했고, 이를 방어하기 위한 계층적 방어심층 전략을 구체적으로 제안한 점이 핵심 기여.  

출처
[1] Securing-Agentic-AI.pdf https://ppl-ai-file-upload.s3.amazonaws.com/web/direct-files/attachments/39838290/3a04d50b-9510-4b00-a7f2-b3c8abd8518f/Securing-Agentic-AI.pdf