신고율 99%가 자랑이 아닌 이유

지난번에 사내 피싱 모의훈련 플랫폼을 하나 만들었다. 관리자가 템플릿을 짜고, 대상자한테 추적 ID 심은 메일을 보내고, 열람·클릭·신고를 각각 기록하는 웹 시스템. 만들 때 제일 신경 쓴 게 "클릭을 따로 추적하자"였다.

그러다 고려대에서 나온 논문을 봤다. 공공기관 12,180명을 대상으로 수작업 훈련과 AI 생성 훈련을 비교한 실증 연구다. 읽으면서 내 시스템이 뭘 맞췄고 뭘 놓쳤는지가 꽤 선명하게 보였다. 반은 뿌듯했고 반은 뜨끔했다.

클릭을 추적한 건 맞았다

논문이 계속 두들기는 지점이 하나 있다. 국내 공공기관 피싱 훈련은 국가 정보보안 기본지침 제77조 제5항(의심메일 열람 금지·즉시 신고)에 따라 열람율과 신고율을 핵심 지표로 써왔는데, 정작 실제 피해가 나는 순간인 '링크 클릭'은 측정 밖에 있었다는 거다.

내가 시스템 만들 때 트래킹 픽셀로 열람 잡고, 링크 클릭도 별도 엔드포인트로 잡고, 신고 버튼도 따로 집계하게 한 게 정확히 이거였다. 그때는 "당연히 클릭도 봐야지" 정도의 감이었는데, 논문을 보니 이게 기존 지표 체계의 구조적 공백을 메우는 자리였다.

논문의 2차 훈련에서 메일을 연 1,449명 중 238명(16.43%)이 링크를 클릭했다. 같은 사람들의 열람 후 신고율은 35.89%. 열어본 사람 중에 신고보다 클릭을 먼저 한 사람이 신고한 사람의 절반쯤 된다는 얘기다. 열람율과 신고율만 봤으면 이 238명은 통계에 안 잡힌다. 피해로 이어지는 바로 그 행동이 대시보드에서 안 보이는 거다.

신고율 급락이 오히려 성공 신호

여기가 제일 흥미로웠다.

2022~2024년 수작업 반복 훈련에서 열람 후 신고율은 82~88%로 꾸준히 높았다. 보통 이 숫자를 보고 "훈련 잘 되고 있다"고 한다. 실제로 어떤 발전사는 매월 훈련해서 신고율 99%를 성과로 발표하기도 했다(논문 인용 사례).

그런데 같은 조직에 AI가 생성한 고현실성 메일을 보냈더니 신고율이 35.89%로 주저앉았다. 숫자만 보면 훈련이 망한 것 같다. 논문은 정반대로 읽는다. 82~88%라는 높은 신고율은 사람들이 매번 비슷한 수작업 템플릿의 패턴을 외운 결과였고, 진짜 정교한 메일 앞에서는 그 방어가 안 통했다는 것.

분기마다 신고율이 오르고 있다면, 직원이 진짜 강해진 게 아니라 당신이 만든 템플릿 패턴을 학습한 것일 수 있다. 같은 발신자, 같은 톤, 같은 구성으로 계속 보내면 신고율은 오르지만 실전 대응력은 그대로다.

이건 내 시스템에 그대로 꽂히는 지적이다. 관리자가 손으로 템플릿을 만드는 구조에서는 아무리 잘 만들어도 결국 그 사람의 문체와 패턴이 반복된다. 몇 차수 돌면 대상자들이 "아 이거 그 훈련메일이네" 하고 알아챈다. 논문은 이걸 훈련 적응 효과(training adaptation effect)라고 부른다.

내 시스템이 놓친 것

논문이 제안하는 IATF라는 프레임워크가 있다. NIST SP 800-50r1을 바탕으로 한 건데, 핵심은 시나리오를 LLM으로 자동 생성하고, 대상자 행동 이력에 따라 난이도를 개인별로 조절하고, 결과를 다시 프롬프트에 환류하는 폐쇄 루프다.

내 시스템이랑 대보면 격차가 명확하다. 지표는 열람·클릭·신고를 단계별로 잡으니 이 부분은 겹친다. 하지만 시나리오를 사람이 만들고(논문은 자동 생성), 모두에게 같은 난이도로 보낸다(논문은 개인별 조정). 특히 첫 번째, 시나리오를 사람이 만든다는 게 앞에서 본 패턴 학습 문제의 뿌리다.

시나리오 품질이 결과를 좌우한다는 데이터가 인상적이었다. 같은 국민건강보험공단 사칭 주제인데, 한 모델은 발신 도메인을 엉뚱하게(CJ대한통운) 붙여서 열람 후 클릭율 7.14%, 다른 모델은 'nhis-check.kr'이라는 유사도메인에 개인화와 실시간 정보를 결합해서 41.5%가 나왔다. 5.8배 차이다. 결국 AI를 붙이느냐 마느냐보다 시나리오를 어떻게 설계하느냐가 훈련 효과를 가른다는 건데, 이건 수작업으로 하든 AI로 하든 똑같이 적용되는 원칙이다.

그래서 당장 내 시스템에 LLM을 붙일 생각은 없다. 사내 소규모 도구에 시나리오 자동생성까지 얹는 건 과하다. 대신 두 가지는 바로 반영할 만하다. 템플릿을 최소 서너 개 로테이션해서 패턴 학습을 늦추는 것, 그리고 대시보드에서 신고율만 보지 말고 클릭율을 나란히 보는 것. 신고율이 올라도 클릭율이 안 떨어지면 그건 개선이 아니다.

한 가지 덧붙이면, 이 논문이 보여준 LLM의 설득력은 훈련 도구인 동시에 공격 도구다. 논문도 마지막에 이 양면성을 짚는다. 내가 만든 게 결국 "직원을 속이는 메일을 보내는 시스템"이라는 걸 생각하면, 이 도구가 정교해질수록 다루는 손도 그만큼 무거워져야 한다.

출처

길문철·이상진·정혜정, 「AI를 활용한 해킹메일 대응 훈련의 실효성에 대한 연구」, 정보보호학회논문지 36(3), pp.1047-1063, 2026.6. 원문 보기 (DOI: 10.13089/JKIISC.2026.36.3.1047)