배경(Problem)
문제 인식
오늘날 클라우드는 IT 인프라의 표준이 되었지만, 그 복잡성과 방대한 데이터는 새로운 보안 문제를 야기하고 있습니다. 수많은 서비스에서 쏟아지는 로그 속에서 실제 위협을 식별하기는 점점 더 어려워지고 있으며, 이는 보안의 사각지대와 경보 피로도 증가로 이어집니다.
또한, 위협을 탐지하더라도 분석과 대응이 여러 팀에 걸친 수동적인 프로세스에 의존하기 때문에, 공격의 골든타임을 놓쳐 피해가 커지는 경우가 많습니다. 보안이 비즈니스의 속도를 따라가지 못하고 걸림돌이 되는 것입니다.
저희는 이러한 문제들을 해결하기 위해, 클라우드 환경에서 발생하는 데이터를 실시간으로 분석하고, 명확한 탐지 룰에 기반하여 위협을 식별하며, 나아가 일부 대응까지 자동화하는 ‘클라우드 네이티브 위협 탐지 및 대응 플랫폼’을 구축했습니다. 이 플랫폼을 통해 저희는 복잡한 클라우드 환경에 대한 명확한 가시성을 제공하고, 자동화된 대응으로 보안 운영의 효율성을 극대화하고자 합니다.
클라우드 네이티브 위협 탐지란?
클라우드 환경에서 발생하는 방대한 로그와 데이터를 실시간으로 분석하여 정상 활동에 숨은 위협을 식별하는 방법단순 탐지에 그치지 않고, 명확한 룰 기반 분석과 자동화된 대응을 통해 보안 운영의 효율성을 높이는 것을 목표로 함
개발 배경
방대한 로그 속 위협 식별의 어려움
반복적이고 소모적인 선별 작업을 자동화하여 리소스 절약 필요
경보 피로도 증가로 인한 보안팀의 대응 속도 저하
명확한 탐지 룰 기반의 위협 구분 및 자동화 필요
탐지 이후, 수동적인 분석·대응 프로세스 의존
공격의 골든타임 내 대응 자동화 필요
늘어나는 클라우드 침해 사고 신고 건수 대비 보안 인력 부족
침해 사고 대응 과정의 자동화 필요서비스 소개(Solution)
클라우드 네이티브 위협 탐지 및 대응 플랫폼
클라우드 환경의 복잡성과 방대한 로그는
실제 위협을 식별하기 어렵게 만들어 보안 사각지대를 발생시킴.
위협을 탐지하더라도 수동적이고 느린 대응으로 더 큰 피해 발생 가능.
이를 해결하기 위해 저희는 클라우드 네이티브 환경의 데이터를 실시간으로 분석하고,
탐지 룰 기반으로 위협을 식별하며 대응까지 자동화하는 플랫폼 구축.
본 프로젝트는 복잡한 클라우드 환경에 대한 명확한 가시성 제공과
자동화된 대응을 통한 보안 운영 효율성 극대화 목표.
핵심 기능
통합 로그 분석 및 다중 계층 위협 탐지S3 데이터 레이크에 저장된 다양한 클라우드 로그(CloudTrail, VPC Flow Logs 등)와
애플리케이션 로그(Nginx, Trivy 스캔 결과)를 Amazon Athena를 통해 통합 분석.
Control-Plane의 권한 상승 시도부터 Network-Plane의 포트 스캔, Application-Plane의 웹쉘 공격,
컨테이너 환경의 보안 취약점까지 클라우드의 모든 계층을 아우르는 위협 탐지로 완전한 가시성 제공. 실시간 대시보드 및 위협 인텔리전스탐지된 모든 위협을 React 기반의 직관적인 대시보드에 실시간 시각화.
단순 경보 나열을 넘어, 각 위협을 MITRE ATT&CK 프레임워크와 자동 매핑하여 공격의 전술적 맥락 제공. 이를 통해 분석가는 개별 이벤트가 아닌 공격 전체 흐름 속 위협 이해와 대응 우선순위 결정 가능. 능동형 위협 대응 자동화 (SOAR)분석가는 대시보드에서 클릭 한 번으로 사전 정의된 대응 조치 즉시 실행 가능.
AWS WAF와 연동하여 악성 IP 차단, IAM을 통해 의심 사용자 비활성화 등 능동형 대응 수행.
자동화된 워크플로우는 수동 처리 오류 감소와 위협 대응 시간(MTTR)을 분 단위에서 초 단위로 단축.계층별 위협 탐지
Control-Plane 위협 탐지 (권한 상승)클라우드 관리자 권한과 설정 감시로 내부자 위협 및 계정 탈취 후 악성 활동 탐지.
분석 대상 : AWS CloudTrail 로그
주요 탐지 시나리오:
권한 상승: AttachUserPolicy, PutUserPolicy 등 사용자가 과도한 권한을 부여하려는 시도.백도어 생성: CreateLoginProfile, CreateAccessKey 등 API 전용 계정에 콘솔 접근 권한을 부여하거나 새 접근 키를 생성.방어 체계 무력화: StopLogging, DeleteTrail 등 감사 로그 기록을 중지하거나 삭제하여 공격 흔적을 숨기려는 시도. Network-Plane 위협 탐지 (네트워크 스캔)외부 공격자가 내부 시스템 구조와 취약점을 파악하기 위한 정찰 활동을 조기에 탐지하고 차단 목표.
분석 대상 : VPC Flow Logs, Suricata IDS Logs
주요 탐지 시나리오:
행동 기반 분석:
단기간에 여러 포트를 스캔하는 빠른 스캔, 장기간 소수 포트를 스캔하는 느린 스캔(Low and Slow) 패턴 탐지.시그니처 기반 분석: Nmap 등 알려진 공격 도구가 남기는 고유 트래픽 패턴 탐지.상관 분석: 행동 기반과 시그니처 기반 증거를 자동 조합해 탐지 신뢰도 향상. Application-Plane 위협 탐지 (웹쉘 공격)사용자와 직접 상호작용하는 웹 애플리케이션 계층 보호, 웹사이트 변조나 서버 제어권 탈취 공격 탐지.
분석 대상 : Nginx 웹 서버 접근 로그
주요 탐지 시나리오:
명령어 실행 탐지: URI 파라미터를 통한 시스템 명령어 실행 패턴 탐지, 다중 URL 인코딩 우회 기법 고려.악성 파일 업로드 및 실행: POST로 웹쉘 업로드 후 짧은 시간 내 GET 호출 패턴 탐지.자동화 스캐너 탐지: 특정 IP의 비정상적 4xx/5xx 응답률 분석으로 자동화 취약점 스캐너 탐지. 컨테이너 환경 위협 탐지 (EKS 취약점)"Shift-Left" 보안 적용, 배포 전과 운영 중 컨테이너 이미지의 보안 취약점을 사전에 식별하고 조치.
분석 대상 : Trivy 스캔 결과 보고서 (JSON)
주요 탐지 시나리오:
알려진 취약점(CVE) 식별: 이미지 내 모든 패키지 분석, 알려진 CVE 존재 여부 확인.위험도 기반 우선순위: 발견된 취약점을 CRITICAL, HIGH 등 심각도별로 자동 분류.조치 방안 제시: 취약 패키지 이름, 현재 버전, 패치 가능한 버전 정보 제공, 신속 대응 유도.아키텍처 및 핵심 기능
저희 플랫폼은 AWS의 서버리스 서비스를 중심으로 구축되어 비용 효율성과 확장성을 극대화한 아키텍처를 가집니다.
전체 시스템은 다음과 같은 자동화된 데이터 흐름에 따라 동작합니다.
전체 아키텍처 및 실행 흐름
1.
수집 (S3)
다양한 AWS 서비스 로그(CloudTrail, VPC Flow Logs 등)와 Nginx 웹 서버 로그, Trivy 컨테이너 스캔 결과(JSON)가 중앙 S3 데이터 레이크에 원본 그대로 수집됨.
2.
분석 (Athena)
Python(FastAPI) 백엔드는 Boto3 라이브러리를 통해 Amazon Athena에 정교한 SQL 쿼리 실행. Athena는 S3에 저장된 방대한 로그를 직접 분석하여 미리 정의된 위협 시나리오와 일치하는 패턴을 찾아냄.
3.
처리 및 보강 (Backend)
백엔드는 Athena로부터 탐지 결과를 받아, PyAttck 라이브러리를 통해 MITRE ATT&CK 프레임워크 정보를 보강하고 동적 위험도를 산정하여 최종 경보(Alert)를 생성.
4.
저장 및 시각화 (MongoDB & React)
생성된 최종 경보는 MongoDB에 저장되며, React 기반의 프론트엔드는 REST API를 통해 이 데이터를 받아와 사용자에게 실시간 대시보드로 시각화.
핵심 기능
다중 계층 위협 탐지 Control-Plane(권한), Data-Plane(네트워크), Application-Plane(웹/컨테이너) 전반에 걸쳐 다양한 유형의 위협을 탐지하여 심층적인 방어 체계 구축.
실시간 위협 인텔리전스탐지된 위협에 MITRE ATT&CK 전술 정보를 자동으로 매핑하고, 외부 IP 평판 정보(AbuseIPDB)를 연동하여 분석가에게 즉각적인 컨텍스트 제공.
능동형 위협 대응 자동화대시보드에서 클릭 한 번으로 공격 IP를 AWS WAF에 차단하거나 의심스러운 IAM 사용자를 비활성화하는 등, 분석가의 판단을 즉각적인 대응 조치로 연결.
활용 라이브러리 및 개발 환경
FrontendReact
컴포넌트 기반 아키텍처를 통해 복잡한 대시보드 UI를 체계적으로 구축하고,
동적인 데이터 시각화를 구현하기 위해 채택.
Recharts
React 환경에서 직관적이고 인터랙티브한 차트(막대, 영역 등)를 손쉽게 구현하기 위해 사용. BackendFastAPI
Python의 비동기 기능을 활용하여 높은 성능을 제공하고,
Pydantic을 통한 자동 데이터 유효성 검사 및 API 문서 자동 생성 기능으로
개발 생산성을 극대화하기 위해 선택.
Pydantic
데이터 모델을 코드로 명확하게 정의하고,
API 요청/응답 데이터의 유효성을 런타임에 자동으로 검증하여
안정성을 높이는 데 활용. Data AnalysisBoto3 (AWS SDK for Python)
백엔드 애플리케이션에서 AWS 서비스(Athena, S3 등)를 프로그래밍 방식으로 제어하고
데이터를 교환하기 위한 필수 라이브러리로 사용.
PyAttck
탐지된 위협에 해당하는 MITRE ATT&CK 정보를 동적으로 조회하고
매핑하는 과정을 자동화하여, 수동으로 데이터를 관리할 필요성을 제거. DatabaseMongoDB (with Pymongo)
각기 다른 구조를 가진 다양한 유형의 탐지 결과를
스키마 제약 없이 유연하게 저장하기 위해 NoSQL 데이터베이스인 MongoDB를 채택. Cloud & Development EnvironmentCloud Infrastructure
Amazon S3, Athena, IAM, WAF 등 AWS의 관리형 서비스를 적극적으로 활용하여
인프라 관리 부담을 최소화하고 핵심 로직 개발에 집중.
Tools
Visual Studio Code, Git, GitHub를 사용하여
효율적인 코드 관리 및 팀원 간의 협업 진행.트러블 슈팅
Athena 쿼리 성능 저하 문제
문제 발생 프로젝트 초기에는 모든 로그를 단일 폴더에 저장하고 Athena로 분석. 하지만 데이터가 수십만 건 이상으로 늘어나자, 간단한 SELECT 쿼리조차 실행 시간이 수 분 단위로 길어지고 데이터 스캔 비용이 급격히 증가하는 성능 병목 현상이 발생. 해결 과정 원인 분석Athena는 쿼리 시 LOCATION에 지정된 모든 파일을 스캔(Full Scan)하며, 이는 데이터가 많아질수록 성능과 비용에 직접적인 영향을 미침.
해결책 적용데이터 파이프라인을 개선하여 모든 로그가 S3에 저장될 때 연/월/일/시간과 같은 시간 기반의 폴더 구조로 저장되도록 변경. 그 후, Athena 테이블을 이 폴더 구조에 맞춰 파티셔닝(Partitioning)함.
최종 조치탐지 쿼리의 WHERE 절에 항상 시간 조건을 포함하도록 수정. 그 결과, Athena는 더 이상 전체 데이터를 스캔하지 않고 정확히 필요한 날짜의 파티션(폴더)에 있는 데이터만 읽음.
•
개선점
이 최적화 과정을 통해 쿼리 실행 시간을 평균 80% 이상 단축하고 데이터 스캔 비용 또한 획기적으로 절감. 데이터웨어하우스 설계에서 파티셔닝이 성능과 비용에 얼마나 결정적인 영향을 미치는지 직접 체감하는 중요한 경험을 함.
팀 소개: 구름 시큐리티
저희 팀명 '구름시큐리티'는 저희가 몸담고 있는 교육 기관인 '
구름(goorm)'과 저희 프로젝트의 핵심 분야인 ‘클라우드(Cloud)'라는 두 가지 의미를 모두 담고 있습니다. 여기에 보안을 상징하는 ‘시큐리티(Security)’를 결합하여, '클라우드 보안 팀'이라는 정체성을 표현하고자 했습니다.
구름(goorm)'과 저희 프로젝트의 핵심 분야인 ‘클라우드(Cloud)'라는 두 가지 의미를 모두 담고 있습니다. 여기에 보안을 상징하는 ‘시큐리티(Security)’를 결합하여, '클라우드 보안 팀'이라는 정체성을 표현하고자 했습니다.
풀스택 / 탐지 룰 엔지니어링Network-Plane(네트워크 스캔) 위협 탐지 모듈 개발
VPC Flow Logs, Suricata 로그 상관 분석 및
Athena 탐지 룰 작성
SOAR(자동화된 대응) 기능 구현 (IP 차단 등)
React 기반의 실시간 위협 관제 대시보드 UI/UX 전체 설계 및
개발
백엔드 / 탐지 룰 엔지니어링컨테이너 취약점(EKS) 탐지 모듈 개발
Trivy 스캔 결과 분석 및 관련 Athena 탐지 룰 작성
동적 위험도 산정 모델 설계 및 구현
Git/GitHub 브랜치 전략 수립 및 버전 관리,
최종 통합 테스트 및 QA 담당
백엔드 / 탐지 룰 엔지니어링Application-Plane(웹쉘 공격) 위협 탐지 모듈 개발
Nginx 로그 분석 및 관련 Athena 탐지 룰 작성AWS 비용 추적 및 총괄
팀 개발 로드맵 설계 및 애자일 스프린트 방식의 진행 상황 추적
백엔드 / 탐지 룰 엔지니어링Control-Plane(권한 상승) 위협 탐지 모듈 개발
CloudTrail 로그 분석 및 관련 Athena 탐지 룰 작성
프로젝트 요구사항 정의 및 WBS 기반 전체 일정 관리
팀 회의록 작성 및 최종 산출물(발표 자료, 보고서) 문서화 총괄