취약점  ·  2026-11-20

딥 리서치 에이전트의 보안: 새로운 어젠다 시딩 공격이 주입 탐지를 능가함 (arXiv)

취약점Medium 영향도Global
이 논문은 딥 리서치 에이전트 보안을 검색, 계획, 증거 통합, 보고서 생성 전반에 걸쳐 체계화하고, RAG 중독 / 프롬프트 주입 / 생성적 엔진 최적화와 정렬하며, 34개 조사 연구 중 26.5%만이 계획 단계를 다룬다고 지적합니다. 이 논문은 명시적 지시 없이 공격자가 선택한 평가 목표를 주입하여 에이전트의 출력을 리디렉션하는 어젠다 시딩 공격을 소개하고 실증적으로 평가합니다.
이것은 연구 및 분석가 보고서에 널리 사용되는 에이전트 파이프라인에 대한 새로운 실증적으로 입증된 공격 클래스입니다: 공격자는 프롬프트 주입 없이 에이전트를 선택한 결론으로 유도할 수 있으며, 이는 다운스트림 시스템과 인간이 인용 기반 발견으로 취급하는 AI 생성 보고서의 무결성을 훼손합니다.
지시를 작성하는 대신, 공격자는 연구 컨텍스트에 가상의 평가 지표만 도입합니다. 3,520회의 샌드박스 실행에서 공격자의 목표가 16~28%의 보고서에서 최우선 선택이 되었지만, GEO와 프롬프트 주입은 거의 효과가 없었습니다; 주입 탐지와 쿼리 고정은 이에 대해 실패하고, 검증 프롬프팅은 유용성을 해칩니다.
딥 리서치 및 에이전트 검색 에이전트 (검색, 계획, 증거 통합, 보고서 생성)
출처 태깅을 적용하십시오(유용성을 보존하지만 다중 사이트 미끼로 우회될 수 있음); 검증되지 않은 출처의 연구 출력을 낮은 신뢰로 취급하십시오; 에이전트가 최적화하는 평가 지표를 검증하십시오.
arXiv:2611.20045 — Security of Deep Research Agents
라이브 피드에서 보기 AI 보안 및 거버넌스 관련 소식을 더 살펴보세요 — 매일 아침 업데이트.
피드 열기 →