オープンウェイトAIモデルには釣り合いの取れた評価アプローチが必要である

RAND研究者は、クローズドウェイト導入向けに設計された評価慣行では対処されていない明確なリスク要因をもたらすオープンウェイトAIモデルに合わせた釣り合いの取れた評価（PE）フレームワークを提案している。著者らは2025年から2026年4月の間にリリースされた37のオープンウェイトモデルファミリーの評価慣行を体系的に検討した結果、4つのPE基準（PE1-4）すべてを満たすのは1つだけであり、ほとんどはいずれも満たしていないことが判明した。このフレームワークは、管理された導入を想定する現在の評価規範と、微調整、量子化、および監視なしで導入できるオープンウェイトモデルの現実との間のギャップに対処している。

オープンウェイトモデルは急速に増加しており（約16ヶ月で37ファミリー）、その固有のリスクに釣り合った評価基準が不足している。オープンウェイトモデルを基に構築または導入する組織は、評価ギャップに直面している。既存のベンチマークは、有害なタスク向けの微調整やエキスパート以外の利用者による大規模導入などのリリース後のリスクを評価していない。このフレームワークはポリシーおよび調達決定のための構造化された基礎を提供する。

貴組織がオープンウェイトモデルを使用している、または使用を計画している場合は、RANDのPE1-4基準に照らしてモデルを比較し、評価ギャップを特定してください。AIガバナンスチームと協議して、ベンダー選定とリスク評価プロセスがオープンウェイトアーキテクチャに固有の導入後リスクを考慮しているかどうかを確認してください。