清華大学の研究チームが、人認識AIを幻惑するパターンを発見して話題になっている。しかも、そのパターンとは、板にいくつかの豆電球をつけただけという単純なものだった。このような敵対性サンプルを研究することで、AIの精度を上げていくことができると新智元が報じた。
監視カメラによる歩行者把握が進む都市
現在の中国の都市では、防犯カメラや監視カメラが無数に存在し、歩くだけで自分の姿が次々と記録をされていっている。それだけでなく、画像認識や顔認識、歩行認識などの技術が使われ、身分が特定され、過去の履歴データベースとの照合が行われ、犯罪歴はないか、収入はいくらぐらいであるかまで把握ができるようになっている。
コロナ禍で進んだのが、赤外線による人認識だった。赤外線映像を撮影し、その画像から人を認識し、表面温度を推定する。これにより、群衆の中から発熱している人物を発見し、感染リスクを下げようというものだ。
このような歩行者の監視は、防犯を目的として、中国以外の国でも進み始めている。
監視カメラのAIを幻惑する敵対性サンプル
しかし、このように本人の了承なく、姿が撮影され、データベースと照合することでさまざまな個人情報を取得することはプライバシーの侵害だと考える人もいる。そのような人のためにさまざまなダズル迷彩が考案されている。
米国のメディアアーティスト、アダム・ハーベイはさまざまなCVダズル（コンピュータービジョン迷彩）を発表している。このようなメーキャップを施すことにより、顔認識モデルに認識されなくなる。
このような画像認識系のディープラーニングモデルを幻惑させるパターンは、敵対性サンプル（Adversarial Example）と呼ばれる。最も有名な例は、人はパンダと認識するが、AIはテナガザルと認識してしまう画像だ。ある手法でノイズを乗せることで、AIを幻惑することができる。
このような敵対性サンプルは、容易に悪用ができる。例えば、現在、自動運転は技術的にはすでにじゅうぶんに可能になっているが、交通標識にこの敵対性サンプルが使われたらどのようなことが起きるか。人には侵入禁止に見えても、AIには通行可に見える標識が悪意により設置されたとしたら、人命をも危うくするAIに対する脆弱性攻撃となる。そのため、AIモデルを構築する時は、このような敵対性サンプルまで想定して学習をさせておくが必要となる。
また、ニューラルネットワークの振る舞いについてはまだまだ未知の部分が多く、ブラックボックス化が進んでいるが、このような敵対性サンプルへの反応を研究することで、AIの仕組みの解明にもつながる。
赤外線領域での敵対性サンプル
このような敵対性サンプルの研究は、画像解析の分野で盛んで（音声の敵対性サンプルも当然存在する）、可視光の領域が中心になっているが、清華大学の研究チームが赤外線領域での敵対性サンプルを考案した。しかも、板にいくつかの豆電球をつけただけというシンプル極まりない装置だった。
赤外線映像からAIが人を認識する物体認識アルゴリズムYOLOv2を使い、対象者に豆電球を点灯させた板を持たせたところ、YOLOv2は人として認識できなくなった。この成果は、「Fooling Thermal Infrared Pedestrian Detectors in Real World Using Small Bulbs」（https://arxiv.org/abs/2101.08154）という論文にまとめられ、AAAI2021に採用されている。この攻撃は、物体認識アルゴリズムの最新版であるYOLOv3でも通用したという。
敵対性サンプルの研究がAIの精度を高める
なぜ、このような単純な装置で物体認識を幻惑することができるのか、そしてなぜこの不思議なパターンが効果があるのか、わかっていることはきわめて少ない。試行錯誤をすると、なぜかこのパターンが効果的に攻撃できるということしかわからない。
最新の監視カメラは、光学カメラだけでなく、赤外線カメラも搭載をしている。夜間の侵入者などを把握し、姿や歩行から個人特定をするというものだ。この赤外線敵対性サンプルは、このような侵入者が把握できなくなる可能性がある。闇に紛れて、AIを幻惑し、侵入を可能にしてしまうかもしれない。
清華大学の研究チームは、このような敵対性サンプルを収集し、体系化をすることで、ディープラーニングの学習構造を解明し、AIの安全性を高めていこうとしている。
