Heimdallr Framework는 GitHub CI 워크플로우에서 LLM으로 인한 보안 위험을 감지합니다

싱가포르 국립대학교와 ByteDance의 연구원들은 GitHub CI 워크플로우에서 LLM 통합으로 인한 보안 위험을 감지하는 하이브리드 분석 프레임워크인 Heimdallr를 발표했습니다. 이 연구는 새로운 공격 표면을 특징지었습니다: 외부에서 제어 가능한 입력(이슈 댓글, 풀 요청)이 LLM 프롬프트와 출력을 형성할 수 있으며, 이는 보안 결정, 저장소 상태 또는 권한 있는 실행에 영향을 미칩니다. Heimdallr는 트리거 가능성 분류에서 99.8%의 정확도를 달성했으며 759개 저장소 전반에 걸쳐 802개의 취약한 워크플로우 인스턴스를 공개했습니다.

공격자는 GitHub 이슈 댓글이나 풀 요청 설명에 조작된 텍스트를 삽입합니다. CI 워크플로우가 코드 리뷰, 트리에이지 레이블링 또는 자동 병합 결정을 위한 LLM 프롬프트에 이 텍스트를 연결할 때, 공격자는 모델의 추론을 조종하고, 생성된 출력을 조작하고, 프롬프트 주입을 통해 시크릿을 유출하거나, 의도하지 않은 권한 있는 작업(예: 악성 코드 자동 병합)을 트리거할 수 있습니다.

이슈 트리에이지, 풀 요청 리뷰, 콘텐츠 생성 또는 저장소 유지 관리와 같은 자동화 작업을 위해 LLM을 통합하는 GitHub CI 워크플로우입니다. 연구팀은 802개의 취약한 인스턴스를 책임감 있게 공개했으며 71개의 인정을 받았습니다.

개발팀은 CI 워크플로우에서 LLM 출력을 신뢰할 수 없는 데이터로 취급하여 권한 있는 작업 전에 검증이 필요합니다. 외부에서 제어 가능한 텍스트에 대한 엄격한 입력 정제를 구현하고, 보안상 중요한 결정에 대해 사람의 개입 승인을 강제하며, LLM 도구 사용 권한을 감사하여 에이전트가 권한 있는 API를 호출하는 것을 방지합니다. Heimdallr 프레임워크는 조직이 자신의 CI 워크플로우를 스캔할 수 있도록 제공됩니다.