AI 보안과 모델 공급망 위험 관리

대형 언어 모델과 생성형 AI는 이제 핵심 비즈니스 자산이다. 하지만 모델이 커지고 파이프라인이 복잡해질수록 보안 표면도 급격히 넓어진다. 모델 도난, 데이터 중독, 프롬프트 인젝션, 의도치 않은 모델 배포 등 새로운 공격 기법이 연달아 보고되고 있다. 이 글은 AI 공급망의 위험 요소를 정리하고, 조직이 취해야 할 관리·통제 방안을 제안한다.

1. AI 공급망이란 무엇인가?

1-1. 모델 개발 파이프라인의 확장

모델 공급망(Model Supply Chain)은 모델이 기획·개발·배포·운영되는 전 과정과 이 과정에 참여하는 모든 구성 요소를 의미한다. 과거에는 연구팀이 직접 데이터를 모으고 학습을 수행하는 단순 구조였다. 지금은 다음과 같은 외부 요소가 필수적으로 섞인다.

• 오픈소스 모델과 가중치
• 상용 데이터 제공자와 데이터 마켓플레이스
• 서드파티 튜닝 서비스와 AutoML 파이프라인
• MLOps 플랫폼, 모델 레지스트리, 추론 인프라
• 프롬프트 템플릿, 에이전트 워크플로우, 외부 도구 액션

이처럼 공급망이 복잡해질수록 소스 검증과 위협 관리가 어려워진다.

1-2. SW 공급망과 다른 점

소프트웨어 공급망 보안은 이미 SBOM(Software Bill of Materials)과 코드 검증 체계를 중심으로 제도화되어 있다. 하지만 AI 모델은 다음 이유로 추가적인 도전을 안긴다.

1. 데이터 의존성: 데이터셋은 버전 추적이 어렵고 라이선스·개인정보 문제를 동시에 다뤄야 한다.
2. 확률적 결과: 모델은 결정론적 소프트웨어와 달리 같은 입력에도 다른 출력을 낼 수 있어 검증이 쉽지 않다.
3. 지속적 학습: 온라인 학습이나 리파인 튜닝을 진행하면 모델이 변형되며, 변경 이력 관리가 필수다.
4. 프롬프트·에이전트 레이어: 실행 시점에 외부 지식과 도구 호출이 결합되면서 런타임 공급망이 형성된다.

따라서 AI 공급망 보안은 데이터, 모델 아티팩트, 배포 인프라, 런타임 거버넌스를 모두 포괄해야 한다.

2. 위협 시나리오 정리

2-1. 학습 단계 위협

• 데이터 중독(Data Poisoning): 악성 데이터가 학습셋에 침투하여 특정 트리거 입력에 오작동을 유도한다.
• 의도치 않은 민감 데이터 유입: 개인정보나 기업 기밀이 포함된 데이터를 학습에 사용해 모델이 이를 기억하고 재노출할 수 있다.
• 모델 도난(Model Theft): 공개 API를 통해 반복 질의로 모델 파라미터를 추정하거나, 저장소 접근을 탈취하여 가중치를 유출한다.

2-2. 배포·운영 단계 위협

• 프롬프트 인젝션: 사용자가 의도적으로 모델 지침을 우회하도록 입력을 구성해 보안 정책을 무력화한다.
• 출력 유도 공격(Model Manipulation): 모델이 특정 브랜드를 홍보하거나 허위 정보를 전파하도록 유도하여 평판 리스크를 초래한다.
• 서드파티 도구 악용: 에이전트가 외부 API를 호출할 때, 악성 응답을 받아 잘못된 행동을 수행할 수 있다.
• 비용 고갈 공격(Resource Exhaustion): 반복적 대용량 질의를 통해 추론 비용을 소모시키는 서비스 거부(DoS) 형태의 공격이다.

2-3. 공급망 내부 위협

• 모델 레지스트리 위·변조: 버전 관리 과정에서 악성 모델을 정상 모델로 위장해 배포한다.
• 서명·무결성 검증 부재: 모델 아카이브 파일에 대한 서명 검증을 하지 않아 조작된 파일이 유통된다.
• 외주·파트너 리스크: 협력사가 보안 요구사항을 충족하지 못해 전체 파이프라인이 취약해지는 경우다.

3. 위험 관리 프레임워크 구축

3-1. 자산 식별과 영향도 평가

1. 모델과 파이프라인 구성요소의 자산 목록(모델 BOM, 데이터셋 BOM)을 작성한다.
2. 비즈니스 영향도, 규제 요구사항, 취급 데이터 민감도에 따라 우선순위를 부여한다.
3. 상용 모델 API를 사용할 경우에도 SLA와 보안 조항을 검토해 자산 관리 범위에 포함한다.

3-2. 보안 통제 도입

3-3. 감시·탐지 체계

• Model Behavior Audit: 프롬프트 카탈로그를 만들어 정기적으로 모델 출력이 기준을 만족하는지 점검한다.
• Usage Telemetry: 사용자별 호출 빈도, 입력 길이, 비용 사용량을 모니터링하여 이상 징후를 조기에 포착한다.
• 데이터 워터마킹: 민감 데이터 노출 여부를 추적하기 위해 워터마크 삽입 또는 출력 검사 규칙을 적용한다.
• 프롬프트 방어필터: 공용 모델 게이트웨이에 프롬프트 필터를 적용하여 명령 주입 시도를 조기에 차단한다.

4. 정책과 거버넌스 수립

4-1. AI 보안 정책 문서화

• 조직의 AI 사용 목적, 허용된 데이터 유형, 금지 행동을 명시한 정책을 배포한다.
• 모델 구매·도입 절차에 필수 보안 점검 항목을 포함한다.
• 프롬프트 템플릿, 에이전트 워크플로우 변경 시 승인 절차를 의무화한다.

4-2. 규제·표준 대응

• NIST AI Risk Management Framework: 위험 식별, 측정, 관리, 거버넌스에 대한 가이드로 활용한다.
• EU AI Act: 고위험(HRAI) 시스템 분류에 해당하는지 검토하고 투명성 및 모니터링 요구사항을 반영한다.
• ISO/IEC 42001: AI 경영 시스템 표준(2024) 도입을 통해 거버넌스를 제도화한다.

4-3. 역할과 책임(RACI)

• R: MLOps팀 – 모델 배포, 모니터링, 취약점 패치
• A: CISO 또는 AI 보안 책임자 – 정책 승인, 사고 대응 총괄
• C: 데이터 거버넌스 위원회 – 민감 데이터 사용 승인
• I: 사업 부문 및 운영팀 – 정책 변경 사항 통보

5. 사례로 보는 대응 전략

5-1. 제조기업 A사의 프롬프트 인젝션 대응

제조기업 A사는 설비 유지보수 챗봇을 운영하다가, 특정 입력으로 내부 매뉴얼이 노출되는 문제가 발생했다. 원인은 프롬프트 인젝션이었다. 대응책으로 다음을 도입했다.

1. 시스템 프롬프트에 데이터 분류 기준과 금지 응답을 명확히 선언
2. RAG 파이프라인에 민감 문서 토큰 필터링 적용
3. 출력 검증 단계에서 기밀 키워드 블랙리스트 검사

이후 내부 감사 결과 기밀 노출이 재발하지 않았고, 챗봇 사용량은 오히려 증가했다.

5-2. 핀테크 B사의 모델 서명·레지스트리 강화

핀테크 B사는 외부 튜닝 파트너가 전달한 가중치를 검증 없이 배포하다가, 모델이 특정 거래를 우선 승인하는 이상 행동이 발생했다. 조사 결과 악성 스크립트가 모델 아티팩트에 포함되어 있었다. 이후 B사는 다음 프로세스를 구축했다.

• 모든 모델 아티팩트에 서명 적용 및 검증 자동화
• 레지스트리 승인 워크플로우에 이중 검토 도입
• 추론 엔드포인트 배포 전 샌드박스 검증 수행

6. 실행 로드맵

1. 현재 상태 진단: 자산 목록, 취약점 스캔, 정책 격차 분석을 4주 내 수행한다.
2. 보호 통제 구축: 데이터 검증, 모델 서명, 프롬프트 필터를 우선 적용한다.
3. 모니터링 체계 확립: 텔레메트리 수집과 이상 탐지 룰을 만들고, 사고 대응 플레이북을 작성한다.
4. 지속적 개선: 모델 업데이트마다 보안 리뷰를 포함하고, 외부 감사 또는 버그 바운티를 통해 피드백을 수집한다.

7. 체크리스트

• 모델·데이터 BOM을 작성했는가?
• 모든 가중치와 토큰라이저에 서명 검증을 적용했는가?
• 프롬프트 인젝션 탐지 룰과 응답 필터가 있는가?
• 모델 이상 행동을 모니터링하고 사고 보고 체계를 구축했는가?
• 외부 파트너와 보안 조항(SLA)을 명확히 했는가?

AI는 새로운 가치뿐 아니라 새로운 공격 면을 함께 가져온다. 공급망 전반을 구조적으로 이해하고, 보안·거버넌스·운영을 통합한 대응 전략을 세워야 한다. 특히 모델을 비즈니스 핵심 자산으로 바라보고, 전통적 IT 보안 조직과 긴밀히 협업하는 것이 AI 시대의 필수 과제가 되고 있다.