ホワイトハウスの合意に基づくAI監査が実効性を持つためには、監査担当者が自ら検査対象を選択できることが必要だと、Decentralization Research Centerのリサーチ責任者、Samuel Vance-Law氏が指摘した。
先週、世界的に影響力のある6社のAI企業がホワイトハウスに対し、外部が自社のAI取り組みを検証可能にすることを約束した。
9月29日にはNvidia、OpenAI、Anthropic、Google、Meta、xAIの6社が、米国大統領ドナルド・トランプが「道徳的拘束力がある」と評した先端AIモデルに関する協定に署名。各社は「独立した外部監査人または評価者と提携し」、独立取締役が監査報告を審査し是正措置を確実に行うことを約束している。
外部監査の導入は良い動きであり歓迎すべきだが、この合意には監査人の選定者や調査範囲、公表の有無に関する規定がなく、違反時の罰則も設けられていない。現状では各社が自社で監査人を選び、監査人に何を監査させるかを決めている形だ。
2000年に国際会計事務所「ビッグファイブ」の一角だったアーサー・アンダーセンは、エンロンの帳簿監査で2,500万ドル、税務・コンサル業務で2,700万ドルを受け取ったが、2年以内に崩壊。その後議会は管理側から監査人選定権を奪い、監査人が監査先に多数の他業務を提供することを禁止し、監査人を公的に検査する機関を設置したサーベンス・オクスリー法を制定した。
アンダーセンの失敗は専門知識の不足ではなく、1年に5,200万ドルを支払うクライアントに厳しく対応するインセンティブの欠如によるものだった。AI業界の自主的誓約も同様に成果を上げていない。2023年に主要AI企業は外部専門家によるリリース前テストを含む一連の自主コミットメントをホワイトハウスに提示したが、スタンフォード、ハーバード、ブラウンの研究者が16社を評価したところ、平均スコアは53％にとどまった。問題の特定や報告協力に関する約束では16社中8社がゼロ点を記録した。
外部テストが行われても、条件設定は開発者側が握る。非営利団体METRはOpenAIのo3モデルのリリース前テストについて、「3週間のみの実施で情報アクセスも限定的、モデルの逐次的推論過程も確認できなかった」と述べている。
OpenAIがテストを許可した点は評価されるべきだが、共有情報の範囲に多くが依存していることも示した。
訓練済みAIモデルは極めて大規模な数値ファイルで、制作に億単位の費用がかかることも多いため、モデルのコピーを保有することが所有に相当する。外部にコピーを渡すのはセキュリティリスクが伴い、従来はテスターが試験内容を事前提出して試験を開示するか、モデルを会社側が渡すかの選択を迫られてきたとGoogle DeepMindは説明する。
8月にDeepMindは、シンガポールAI Safety Instituteなどと協力し、世界初のAIモデル二重盲検テストを実施。封印されたコンピュータ機器上でテストを行い、外部テスターはモデルを直接見ることなく、Google側も質問内容を知らずに進行した。双方が情報の非公開性を数学的に検証できるとGoogleは述べている。
この方法は信頼の重心を機器に移す形となる。昨年は小額の機器で封印機器に侵入した例もあるが、サーバーへの物理的アクセスが必須であった。これは真剣に受け止めるべきであるものの、「誰もモデルに直接アクセスできない」問題よりは軽微で、運用管理を慎重に行えば対処可能としている。
Decentralization Research Centerが今週発表したレポート「Alternatives to Concentrated AI」では、共同執筆者Kyle Bligenとともに36名にインタビューし、AIの集中管理に対抗する約30の稼働中代替案をマッピング。その中で外部者がモデルやデータコピーを取得せずに先進的AIを検査できる点が見出された。
この合意の監査を意味あるものにするには、監査人がコピーを取得せずとも何を検査するかを自身で選べる必要がある。企業は監査人や監査範囲を開示すべきで、詳細な調査結果が非公開でも構わない。上場企業は長年監査人を公表しており、それによる企業秘密漏洩の例はない。監査報告を読む取締役委員会は社外者に責任を負うべきだ。サーベンス・オクスリー法には監査人検査の公的機関があるが、この合意には存在せず、議会はこの隙間を埋める措置を検討すべきだ。
注：本コラムの見解は著者個人のものであり、CoinDesk社およびその関連企業の公式見解を必ずしも反映しない。
