外売アプリが会話を盗聴して、飲食店をオススメ？記者が実験してみた

出前を注文できる外売サービス。このアプリが、利用者の会話を盗聴して、お薦めの飲食店をリコメンドしているのではないかという疑いが起きている。IT時報の記者が3ヶ月に渡り実験をしてみた。

会話に出た料理がおすすめされる外売アプリ

外売は、スマホから注文できる出前サービス。このアプリを開くと、トップにお薦めの飲食店が表示される。利用履歴、利用者のプロフィールなどから算出したリコメンドだ。しかし、このリコメンドに異変が起きている。

2018年11月中旬、上海の女性、孫さんが同僚と「COCOのミルクティーが飲みたいね」という話をして、ウーラマのアプリを開いたところ、おすすめの飲食店のトップにCOCOミルクティーが表示された。孫さんは、かつてCOCOミルクティーを注文したこともなかったし、ネットで検索したこともなかった。

このような経験をしたのは、孫さんだけではない。北京の燃玉さんは、2018年11月14日夜8時頃、友人と「うな丼が食べたいね」という話をした1分後、アリペイのミニプログラムでウーラマを開いた。すると、おすすめの飲食店のトップにうな丼の店が表示された。以前注文してから23日も経っているのにだ。

翌日、燃玉さんは実験をしてみた。スマートフォンをロックしたまま、「ピザが食べたい」と声に出して、それからアリペイのウーラマミニプログラムを開いてみた。すると、またピザの店が薦められたのだ。その店は以前利用したことがあるが、半月以上前のことだという。

12月になって、燃玉さんはこのことをウェイボーでつぶやいてみた。すると、すぐに154通の反応があり、そのうちの1/6ほどの人が似たような経験をしたと反応してきた。

f:id:tamakino:20190507105844j:plain

▲燃玉さんがウェイボーにアップしたスナップショット。「うな丼が食べたい」という会話をした後、ウーラマを開くと、うな丼の店がおすすめの上位に表示された。

80％の確率で、会話に出た料理がおすすめされる

この話を受けて、IT時報の記者は、２台のiPhoneを使って実験をしてみた。まず、美団とウーラマのアプリを起動して、お薦めの飲食店上位３つをメモしておく。それからアプリを閉じて、２人の記者が話をするように「日本料理が食べたい」と言い、２分後に両方のアプリを開いてみた。

するとウーラマでは、第２位に日本料理の店が表示された。アプリを閉じて、２分後に再び開くと、日本料理の店は消えていた。１度目と２度目で１位と３位の店は同じだった。

さらにアプリを閉じ、再び２人の記者が「日本料理が食べたい」と話をして、６分後に開くと、今度は日本料理の店が第７位に登場した。閉じて、２分後、再び開くと、日本料理の店は消えていた。

その他、香港料理などいろいろな料理で試してみても同じことが起きる。だいたい80％程度の確率で同じことが起きた。

これはマイクで盗み聞きをして、料理関連のキーワードを拾うと、その店を推薦しているのだとしか思えなかった。試しに、アプリに対して、マイクの使用を許可しない設定に変えてみると、このような状況は起こらなかった。

記者は、iPhoneだけでなく、Android、iPadなどでも、3ヶ月に渡って数十回の実験をしてみた。すると、だいたい70％の確率でこのような現象が起きる。

もちろん、美団、ウーラマともにマイクを使ったリコメンド機能は実装をしていないと回答した。であるなら、これはどういうことなのだろうか。

f:id:tamakino:20190507105847j:plain

▲燃玉さんがウェイボーにアップしたスナップショット。「ピザが食べたい」という会話の後、ウーラマを開くと、ピザの店がおすすめに表示される。約80％の確率でこのような現象が起きるという。

周りで会話をすると、送信データが増加する

スマホの通信をモニタリングできるCharlesなどの開発支援ツールを使って、美団のアプリを監視すると、実験をしている時には400程度のデータを送信しており、話をやめて静かにすると送信するデータの数が少なくなっていく。あたかも音声データをどこかに送信しているかのような動き方をする。

しかし、専門家によると、このようなデータはアプリの状態や操作状況などを送信するもので、ここに音声データのような巨大なデータを忍び込ませて送信することは難しいという。

また、音声データをアプリ内で分析して、料理に関連する言葉だけを抽出して送信するというのも、かなり計算量を必要とする作業で、アプリを起動中であればともかく、アプリを起動していないうちにバックグラウンドでこのような計算を行うというも考えづらいという。

f:id:tamakino:20190507105852p:plain

▲ウーラマ、美団などの外売アプリでは、開くと同時に、過去の利用履歴などからおすすめの店が表示される。検索SEOと同じように、上位にくる店が利用される傾向が出る。ウーラマ、美団などでは、このおすすめランキングをいかに利用者にフィットしたものにするか、さまざまなデータ分析を行っている。

米国で問題になったアプリ盗聴問題

しかし、昨年初めのニューヨークタイムズの報道によると、米国で、ゲームアプリが盗聴をしていることが発覚している。アルフォンソが開発技術を搭載した250以上もゲームアプリは、アプリを閉じ後もマイクを使い、周囲の会話や環境を収集して、マーケティングデータに活用していた。

このアルフォンソの技術は、周囲で聞こえる音楽の曲名などを教えてくれるShazamにも搭載され問題になった。Shazamではマイクをオンにしなければ利用する意味がないことから、マイクを使って、アプリ起動中以外にも周囲の環境音の収集、分析を行い、どのようなテレビ番組を見ているかのデータを収集していた。

Shazamは、現在アップルが買収し、音声アシスタントSiriの機能に組み込まれているが、このアルフォンソの技術がどう扱われているのか、アップルはコメントしていない。

なぜか問題の現象が消える

IT時報の3ヶ月間に渡る実験で奇妙なのは、美団についてはそのままだったが、ウーラマについては2019年1月以降、このような現象が消えたことだ。先も触れたように、美団、ウーラマともこのような盗聴機能は実装していないし、実行していないと否定するが、ウーラマのように突然挙動が変わるというのも奇妙な話だ。

検索履歴や位置情報を収集して精度の高いターゲティング広告を表示するというのは現在では当たり前のことになっている。であれば、環境音を収集して、精度の高いリコメンドをすることになんの問題があるの？という考え方もあるかもしれない。一方で、会話や環境音は意図せずに収集されてしまうため問題が多いという考え方もある。

特に、断りなく収集している場合は、飲食店のリコメンド以外にも勝手に使われてしまう可能性も否定できない。

いずれにしても、プライバシーの設定を見直して、マイク、カメラなどは、必要のないアプリからのアクセスを禁止した方がよさそうだ。