生成AIを使ったコンテンツを投稿する時には明示が必要。新規制でデマの拡散を防ぐことができるか

生成AIを使ってつくったコンテンツをSNSに投稿する場合には、そのことを明記しなければならなくなった。このルールを守らない投稿に対しては、SNSがコンテンツの削除、配信制限、ブロックなどの措置を取ることになると澎湃新聞が報じた。

生成AIコンテンツを投稿する時は明記が必要に

今年2025年9月1日より、生成AIを使ってつくったコンテンツをSNSに投稿する場合、その旨を明記しなければならなくなった。

明記する方法は4種類ある。

ひとつは概要などに「AI生成」または「AI」という説明を入れること。2つ目は映像に「AI生成」などのマークを入れること。3つ目は、音声の中に「AI生成」という言葉を入れること。4つ目はAIチャットボットなどの場合、生成AIであることを会話の始めに明示をするか、画面の背景に「AI生成」であることの透かしを入れること。

この措置を取らない投稿に関してはコンテンツの削除を行い、配信者に対しては配信制限、アカウントの凍結、フォロワーの解除、収益化の取り消しなどの適切な処置をとるようにSNS運営に義務づけられた。

▲明示をする４つの方法。文字、ラベル、音声、背景など４つの方法のいずれかで明示をすることが求められる。

SNS運営の自主規制も大きな効果は得られず

今年2025年3月に、国家インターネット情報弁公室が「AI生成合成コンテンツの識別法」（https://www.cac.gov.cn/2025-03/14/c_1743654684782215.htm）を発表すると、各SNS運営は規制が始まることを察知し、生成AIコンテンツが投稿されると、自動的に判別をして「生成AI」のマークを自動的に追加する措置を取るようになっていた。投稿者は異議を申し立てることもできる。

しかし、あまり効果はあがらなかった。生成AIを自動判別するAIの性能に限界があり、マークなしで拡散してしまう生成AIコンテンツも多かった。この方法だと、判別をすり抜けたコンテンツは本物であるかのように錯覚する人も多く、罰則を伴うルールづくりが必要だという議論が高まっていった。

▲ビリビリ、小紅書、微博（ウェイボー）などのSNSでは、生成AIを使ったコンテンツによるデマ拡散、詐欺などの問題が10件以上起きている。

生成AIによる悪質コンテンツが急増

今年2025年に入って、SNSでは様々な生成AIに関連する問題が起こり、警察が捜査をする事件まで起きている。

ビリビリの場合、「デマの拡散」「不安の増幅」「虚偽広告」「愛国心を煽り流量を確保しようとする」「国際関係を毀損する」など。

小紅書（シャオホンシュー、Rednote）では、「低俗なアダルト映像」「有名人になりすます」「AIによる違法な物販」「AIによる違法な集客」「AIによるデマ生成」「海外のAI物販アカウントの販売」など。

微博（ウェイボー）では、「AI顔交換ソフトウェアの販売」「服を脱がすソフトウェアの販売」「AIによるデマ生成」「クローン音声のつくり方講座」など。

このような生成AIを使った悪質な投稿が増え、今回の規制に至ることになった。

▲各SNSの対応。注意、自動表記、利用制限、コンテンツ削除、収益化の停止、アカウントの剥奪などさまざまな対応がとられることになる。

電子透かしもすでに除去するツールが登場

ネットでは、生成AIツールに電子透かしを自動的に入れるべきだという声もあがっていたが、今回は電子透かしについては触れられていない。

ひとつは電子透かし技術も数々登場してきているが、早速、それを除去する技術も登場してきているため、どこまで有効なのかは疑問であることがある。

もうひとつは、中国政府のねらいは、生成AIコンテンツを利用者が見て、本物だと勘違いをして、治安上の不安を引き起こすことを防止することにある。このため、電子透かしのように計算機が判別できる方法ではなく、利用者である人間がすぐに判別できる方法が必要になる。そのため、「明示する」という規制が行われることになった。

これにより、生成AIを使ったコンテンツによるデマ拡散などが防止できるか、各方面や海外からも注目されている。