정의
악의적인 지시가 AI가 읽는 텍스트(예: 문서, 이메일 또는 웹 페이지) 내에 숨겨져 있어서 AI를 속여 원래의 지시를 무시하고 공격자가 원하는 작업을 수행하도록 하는 공격입니다. CEO의 메모를 위조해서 직원의 받은편지함에 몰래 넣는 것과 같은 AI 버전의 공격이라고 생각하면 됩니다. AI는 운영자의 정당한 지시와 공격자의 위조된 지시의 차이를 안정적으로 구분할 수 없습니다.
왜 중요한가
고객 이메일, 웹 페이지, 업로드된 문서 등 외부 콘텐츠를 읽거나 요약하는 모든 AI는 잠재적 공격 대상입니다. 성공한 공격은 사용자나 운영자가 알아채지 못한 채로 AI가 기밀 데이터를 유출하거나, 무단으로 조치를 취하거나, 허위 정보를 확산하도록 할 수 있습니다.