스스로 정보를 탐색하고 다단계 추론을 수행하는 자율형 인공지능(AI) 에이전트의 검색 경로를 가로채 최종 답변을 왜곡할 수 있는 보안 취약점이 국내 연구진에 의해 확인됐다.
고려대학교 컴퓨터학과 장부루 교수가 이끄는 언어 및 지능 연구실(LILab) 연구팀은 자율형 검색증강생성(Agentic RAG) AI의 검색과 추론 과정을 조작 문서로 탈취하는 공격 기술인 ‘KidnapRAG’를 규명했다고 2026년 10월 28일 발표했다. 이번 연구 성과를 담은 논문(KidnapRAG: A Black-Box Attack for Hijacking Reasoning in Agentic Retrieval-Augmented Generation Systems)은 자연어처리(NLP) 분야 국제 최고 권위 학술대회인 EMNLP 2026에 채택됐다. 연구 논문에는 장부루 교수가 교신저자로, 고려대 석박사통합과정 최찬우·김은태 씨와 석사과정 이규호 씨가 공동 제1저자로 참여했다.
챗GPT나 제미나이의 ‘딥 리서치(Deep Research)’처럼 최신 상용 Agentic RAG 서비스는 복잡한 질문을 받았을 때 AI가 자율적으로 추가 정보를 검색하고 여러 단계의 논리적 추론을 거쳐 답변을 완성한다. 이 과정에서 사용자 신뢰를 높이기 위해 AI가 거친 검색 과정과 중간 판단 정보를 화면에 투명하게 노출하는 방식을 취하고 있다. 연구팀은 역설적으로 이러한 투명한 중간 정보 공개가 공격의 빌미가 될 수 있음을 입증했다.
‘KidnapRAG’는 AI 서비스의 내부 전산망이나 모델 가중치를 직접 해킹하지 않고, 외부 웹페이지에 조작된 문서를 올려두는 것만으로 성립하는 ‘블랙박스(Black-box)’ 공격 방식이다. 공격자는 화면에 공개된 AI의 중간 판단 데이터를 분석해 AI가 다음에 입력할 검색 키워드와 탐색 경로를 미리 계산한다. 이어 해당 검색 결과의 길목에 단계별 조작 문서를 사전에 배치해 AI의 접근을 유도한다.
단일 조작 문서를 활용하던 기존 공격 방식은 AI가 다음 추론 단계에서 상반된 정보를 비교하며 오류를 인지하고 본래 질문 흐름으로 복귀하는 한계가 존재했다. 반면 연구진이 규명한 KidnapRAG는 다단계 검색이 진행될 때마다 각 단계에 맞춤형 조작 문서를 지속해서 개입시킨다. 이를 통해 AI의 전체 추론 궤적 자체를 납치함으로써 모델이 자체적인 오류 수정(자가 교정)을 거치거나 원래 탐색 경로로 되돌아가지 못하도록 완전히 차단한다.
실제 Agentic RAG 시스템을 대상으로 진행된 실험에서 KidnapRAG는 AI가 공격자가 사전에 의도한 왜곡된 답변을 생성하도록 유도하는 데 성공했으며, 최대 78%에 달하는 공격 성공률을 기록했다.
장부루 고려대 교수는 “이번 연구는 Agentic RAG가 빠르게 확산하는 시점에서, 실제 서비스 환경에 가까운 조건에서 검색·추론 경로가 공격받을 수 있음을 밝힌 시의적절한 연구”라며 “향후 Agentic RAG의 검색과 추론 전 과정을 검증하고 보호하는 방어 기술로 확장돼 보다 안전하고 신뢰할 수 있는 AI 에이전트 개발에 기여하길 기대한다”고 밝혔다.
한편 이번 연구는 KT 프론티어랩과의 산학협력, KT-고려대 AICT R&D Center, 그리고 과학기술정보통신부 산하 정보통신기획평가원(IITP)의 연구개발과제 지원을 받아 수행됐다.
