무슨 일이 있었나
10월 23일, Cisco Foundation AI는 'Introducing Agentic Evaluation in FAITH'를 발표하여 FAITH 사이버보안 평가 프레임워크에 다단계 도구 사용 에이전트 작업을 추가했습니다. 첫 통합 에이전트 벤치마크인 VulnLoc은 에이전트가 저장소에서 취약한 파일을 얼마나 잘 찾는지(Phase A, ground-truth 파일 세트 매칭)와 패치된 코드에서 오탐을 피하는지(Phase B, true-negative rate)를 평가합니다. FAITH는 이제 모델-에이전트-도구 상호작용 루프를 관리하고, 전체 대화/도구 호출 추적을 기록하며, Docker 또는 Kubernetes 'Agent Sandbox'를 통해 읽기 전용 저장소 액세스로 실행할 수 있습니다.
왜 중요한가
사이버보안 에이전트가 다단계 자율 작업을 수행함에 따라 결과 전용 점수는 충분하지 않습니다. Agentic FAITH는 방어자에게 도구 선택, 중간 결정, 중지 동작 및 오경보를 측정할 수 있는 반복 가능한 개방형 표준을 제공합니다 — 시장에 부족한 도구입니다. 이는 주요 공급업체의 주목할 만한 오픈소스 기능입니다.
적용 범위
에이전트 펜테스트/취약점 발견 에이전트를 평가하는 레드 팀 및 AI 보안 팀은 답변 정확도뿐 아니라 프로세스 수준 점수를 위해 Agentic FAITH/VulnLoc을 평가 스위트에 추가해야 합니다.