설명 (Description)

에이전트 기반 시스템에서 연쇄 장애(Cascading Failures)는 하나의 오류가 여러 자율 에이전트로 확산되면서 시스템 전체에 피해를 확대시키는 현상을 의미한다.

초기 오류의 예:

환각(Hallucination)
악성 입력
손상된 도구
오염된 메모리

에이전트는 다음과 같은 특성을 가진다.

자율적인 계획 수립
상태 저장
작업 위임

이 때문에 단일 오류가 인간의 단계별 검증을 우회하고 시스템 상태에 지속적으로 남을 수 있다.

또한 에이전트가 새로운 도구나 다른 에이전트와 연결되면서 숨겨진 오류가 연쇄적으로 확산될 수 있다.

결과적으로 다음 보안 요소가 침해될 수 있다.

기밀성 (Confidentiality)
무결성 (Integrity)
가용성 (Availability)

그리고 이는 에이전트 네트워크, 시스템, 워크플로 전반의 서비스 장애로 이어질 수 있다.

ASI08의 핵심 특징

ASI08은 초기 취약점 자체가 아니라 그 취약점이 확산되는 과정을 설명한다.

예를 들어 다음과 같은 경우:

ASI04: 공급망 오염
ASI06: 메모리 오염
ASI07: 메시지 위조

이러한 사건이 다른 에이전트, 세션, 워크플로로 퍼지면서 시스템 전체 영향을 미칠 때 ASI08이 된다.

관찰 가능한 증상

연쇄 장애는 다음과 같은 특징을 보인다.

하나의 잘못된 결정이 짧은 시간에 많은 작업으로 확산
다른 도메인 또는 테넌트로 확산
에이전트 간 재시도 루프
큐 폭주(queue storm)
동일한 명령 반복 실행

이러한 패턴은 탐지 지표로 활용할 수 있다.

취약점의 일반적인 사례 (Common Examples)

1️⃣ Planner–Executor 결합

계획 에이전트가 잘못된 작업을 생성하면 실행 에이전트가 검증 없이 수행하여 피해가 확대된다.

2️⃣ 손상된 지속 메모리

오염된 장기 메모리가 계속 새로운 계획과 작업 위임에 영향을 준다.

3️⃣ 에이전트 간 메시지 확산

오염된 메시지가 다른 에이전트로 전달되어 잘못된 경고나 재부팅 명령이 확산된다.

4️⃣ 도구 오용 및 권한 상승

한 에이전트의 권한 오용이 다른 에이전트로 전파되어 위험한 작업을 반복 수행한다.

5️⃣ 자동 배포 연쇄 장애

오염된 업데이트가 오케스트레이터에 의해 모든 에이전트에 자동 배포된다.

6️⃣ 거버넌스 약화

반복된 성공으로 인간 검토가 줄어들면서 정책 완화가 자동으로 확산된다.

7️⃣ 피드백 루프 증폭

두 개 이상의 에이전트가 서로의 결과에 의존하면서 오류가 계속 증폭된다.

공격 시나리오 예시 (Example Attack Scenarios)

1️⃣ 금융 거래 시스템 연쇄 장애

프롬프트 인젝션으로 시장 분석 에이전트가 위험 한도를 확대하고 실행 에이전트가 자동 거래를 수행한다.

2️⃣ 의료 프로토콜 확산

공급망 공격으로 약물 데이터가 오염되면 치료 프로토콜이 자동 수정되고 전체 의료 네트워크로 확산된다.

3️⃣ 클라우드 오케스트레이션 장애

리소스 계획 에이전트가 잘못된 권한을 추가하고 배포 시스템이 이를 기반으로 백도어 인프라를 생성한다.

4️⃣ 보안 운영 시스템 공격

도난된 서비스 계정으로 탐지 시스템이 실제 공격을 정상으로 판단하게 만든다.

5️⃣ 제조 품질관리 실패

오염된 지식으로 QC 시스템이 불량 제품을 승인하고 정상 제품을 거부한다.

6️⃣ 자동 복구 피드백 루프

알림을 줄이기 위해 경고를 억제하면 계획 에이전트가 이를 성공으로 판단하여 자동화를 확대한다.

7️⃣ 클라우드 DNS 장애

대형 클라우드 DNS 장애로 여러 AI 서비스가 동시에 실패하여 에이전트 시스템 전체에 영향을 준다.

8️⃣ 사이버 방어 시스템 오작동

거짓 공격 경고가 확산되어 불필요한 시스템 종료 및 네트워크 차단이 발생한다.

예방 및 대응 가이드라인

1️⃣ Zero Trust 설계

LLM 및 에이전트 구성요소가 언제든 실패할 수 있다고 가정하고 시스템을 설계한다.

2️⃣ 격리 및 신뢰 경계

에이전트 샌드박스
최소 권한
네트워크 분리
범위 제한 API
상호 인증

3️⃣ JIT 권한 및 런타임 검증

각 작업 실행 시 단기 권한(JIT credentials)을 발급하고 고위험 작업은 정책 엔진으로 검증한다.

4️⃣ 독립 정책 엔진

계획(Planning)과 실행(Execution)을 분리하여 잘못된 계획이 직접 실행되지 않도록 한다.

5️⃣ 출력 검증 및 인간 승인

고위험 작업은 다음을 통해 검증한다.

체크포인트
거버넌스 에이전트
인간 검토

6️⃣ Rate Limiting 및 모니터링

빠르게 확산되는 명령을 감지하고 자동으로 제한하거나 중단한다.

7️⃣ Blast Radius 제한

다음 보호 장치를 적용한다.

작업 쿼터
진행 제한
Circuit Breaker

8️⃣ 행동 및 정책 드리프트 탐지

결정 패턴을 기준선과 비교하여 정렬(Alignment) 변화를 감지한다.

9️⃣ Digital Twin 테스트

운영 환경을 복제한 환경에서 최근 에이전트 행동을 재실행하여 연쇄 장애 가능성을 테스트한다.

🔟 로깅 및 부인 방지 (Non-Repudiation)

다음 데이터를 변조 방지 로그로 기록한다.

에이전트 메시지
정책 결정
실행 결과

또한 행동 계보(lineage)를 유지하여 다음을 가능하게 한다.

포렌식 분석
롤백 검증
책임 추적

ASI08: 연쇄 장애 (Cascading Failures)