정의
'Large Language Model Operations'의 약자로, 조직이 프로덕션 환경에서 AI 기반 애플리케이션과 에이전트를 구축, 배포, 모니터링 및 관리하는 데 사용하는 소프트웨어 플랫폼입니다. 'DevOps' 플랫폼이 소프트웨어 개발 파이프라인을 관리하는 것처럼, LLMOps 플랫폼(예: Dify, Langflow, ToolJet)은 모델을 데이터, 도구, 사용자에 연결하는 것을 포함하여 AI 제품의 전체 라이프사이클을 관리합니다.
왜 중요한가
LLMOps 플랫폼은 조직의 전체 AI 자산의 중심에 위치하여 모델을 민감한 데이터베이스, API 및 사용자 데이터에 연결하므로 높은 가치의 대상이 됩니다. 단일 보고 기간에 가장 널리 배포된 LLMOps 플랫폼 전반에 걸쳐 여러 중요 취약점이 동시에 발견되었습니다.