動画像の中に、肉眼では確認できないほど短い一瞬、本編と関係ない映像を紛れ込ませる手法はかなり以前から知られている。例えば、映画館で恋愛映画などを上映するのだが、その中に砂漠で干上がってしまった画像を混ぜると、売店や自販機での飲料の売れ行きが上がるという次第。
観客は砂漠の映像を知覚したわけではないのだが、無意識のうちに砂漠にいるような気にさせられるわけだ。これをサブリミナル効果といい、閾下知覚と翻訳されることもある。研究が始まったのは19世紀の末期から。映画・TV時代にマーケティングの手法として使われたことがある。現在では、法律で規制されないまでも放送業界では自主規制していて、この手法を一般視聴者に使うことはない。
以前放送業界ではない、ネット動画などではこの自主規制（国によっては放送法の規制）が適用されないので、そのリスクがあることを紹介した（*1）。欧州委員会であ、AI規制の中にサブリミナルの項目があることも分かった。その規制案としては、AIを使ってサブリミナル映像を作ることの禁止で、あくまで対象は人間の視覚である。
ところがAIも「視覚」を持っているので、AIに見せる映像に細工をすることで、AIが歪んでしまうという説が現れた。いわば「AI向けのサブリミナル」である。AIを歪めるものとして「プロンプトインジェクション」という攻撃手法が知られているが、今回発見されたのが「ビジュアルプロンプトインジェクション」という、AIに学習させる映像に目立たぬように文字等を埋め込んでおいて、歪めようというものである。
一見無害な画像の中に文字列を埋め込んでAIを攻撃する恐るべき手法が発見される - GIGAZINE
この記事からだけでは、実際にどのような被害がありそうなのかは分からないが、AI応用の範囲が広がっている現状では、正直何が起きるか予想できない。AIに与える画像データの管理は、人間の目視だけでは十分ではない。何らかのツールでクリアランスを測定する必要があるかもしれない。
Googleの研究者は、データに履歴や作成者等を示したシールを貼ることで、AIを護ると言っていた。文字列だけでなく、画像についてもそのような「シール」が必要だということだろう。
