ディープフェイク

ディープフェイク（英: deepfake）とは、「ディープラーニング（深層学習）」と「フェイク（偽物）」を組み合わせた造語。詐欺などを目的に悪意を持って本物のように合成された偽画像、偽音声、偽映像を指す^[1][2][3]。

生成AIで作成した麻原彰晃と安倍晋三の会食を描いたディープフェイク

この用語は人工知能を応用したメディア合成技術全般を指して使用されることもあるが、一般的には悪意を持って使われた場合にのみディープフェイクと呼び、そうでない場合には合成メディア（英語版）として区別する^[1][2]。

ディープフェイクによるフェイクニュース、デマ、プロパガンダは、民主的な意思決定を妨げ、民主主義の機能や規範を損なうと指摘されており^[4]、規制を求める意見が増えている^[5][6]。ほかにも詐欺、いじめ、児童ポルノ、フェイクポルノ、リベンジポルノなどへの利用が現実の脅威となっている^{[7][8][9][10]}。

技術的には「敵対的生成ネットワーク（GANs）」を使用して、既存の画像や映像を、ある意図に沿った別の画像または映像に重ね合わせて（スーパーインポーズ）結合する手法や^[11]、生成的人工知能を用いたテキストなどのプロンプトから生成する手法などがある。

問題点

信頼性の喪失

19世紀に開発された写真加工技術はプロパガンダに応用された。

写真の偽造は歴史上数多く存在していたが、精巧な偽造は手間がかかり、動画の偽造はより困難だった。しかし、ディープフェイク技術の進化により偽造のコストが低下し、さらに偽の動画を作成することが可能となってきている^[12]。

ディープフェイクは偽情報の拡散だけでなく、標的が絞られた名誉毀損、なりすまし、デマやリベンジポルノなどの犯罪応用がされている^[13]。ディープフェイクはデータに対する疑念を生み出し、社会的な課題の特定、問題の議論、決定、政治的意志の行使による問題の解決など、社会における民主的機能を妨害すると指摘されている^[4]。

また、ディープフェイクは真偽の判断の難しいメディアや信念に影響を与えるのに十分に説得力のあるメディアを作成することで、世論に悪影響を与えることができる^[14][15]。

詐欺・なりすまし

著名人や政治家の肖像を用いディープフェイクを作成して投資詐欺、金融詐欺の嘘の信頼性を向上させることや、声を含めた個人情報がフィッシング、特殊詐欺などの巧妙化に悪用されている^[16][17]。

ディープフェイク音声（英語版）は、詐欺などに悪用されている^[18]。2023年の時点では、数秒から1分ほどの音声データから個人の声を複製できるディープフェイク技術と、テキスト生成ツールの組み合わせにより、友人や家族のデジタルクローンを作成して被害者を狙うなりすまし詐欺を自動化することが可能になった^[19]。

フェイクポルノ

→詳細は「フェイクポルノ」を参照

有名人の肖像を悪用してフェイクポルノ動画が作成されることがある。エマ・ワトソン、スカーレット・ヨハンソン、テイラー・スウィフトなど女性有名人がフェイクポルノ被害に遭っている^[20][21]。また、ディープフェイク技術により、既存の児童ポルノから新たな児童性的虐待コンテンツ（CSAM）を作成したり、存在しないCSAMを作成できるようになった。ディープフェイクで作成された児童ポルノは名誉毀損、グルーミング、恐喝、いじめに応用され、子供に現実的な悪影響を与えている^[22]。

冤罪、脅迫

2023年に出回った、元アメリカ大統領のドナルド・トランプが逮捕される様子を描いたディープフェイク画像。

ディープフェイクは、冤罪を生み出すために使用される可能性がある。合衆国議会調査局の報告書は、スパイ行為等を目的に政治家や機密情報にアクセスできる人物を脅迫するためにディープフェイクが使用される可能性があると警告した^[23]。

プロパガンダ、フェイクニュース

→「フェイクニュース」を参照

ディープフェイクは、オンラインを含むメディアで架空のデータやメディアを用いたフェイクニュースや架空の人物（ソックパペット）を作成するために使用され、政治的な虚偽報道や悪意のあるでっち上げを作成するためにも使用される^{[24] [25]}。選挙運動で対立候補を陥れるネガティブ・キャンペーン、政権政党への批判、戦時下における扇動などの工作にも使われている。

事例

詐欺・なりすまし

• 2019年、英国のエネルギー企業のCEOが音声ディープフェイク技術により同社の親会社の最高経営責任者の声になりすました人物から電話を受け、ハンガリーのある銀行口座に22万ユーロを送金した^[26][27]。
• 2023年、日本テレビは同局で製作・放送されているニュース番組や同局所属のアナウンサーを生成AIで加工して投資を呼びかける偽動画（なりすまし広告）が確認されているとして、同局は同動画の制作に関与しておらず、投資の推奨も行っていないことを表明する事態になった^[28][29][30]。
• 2024年、香港でディープフェイクを使った詐欺事件が発生した。ディープフェイクを使って上司および複数の会社員になりすまし、従業員に送金を要求することに成功した^[31]。
• 2023年ごろから著名人（森永卓郎、堀江貴文など）が主催していると偽り架空のインターネット投資講座の広告を打ち出し、ディープフェイクによる著名人の偽音声で投資アプリに誘導して振り込まれた金銭を横領する詐欺が増えた。この投資アプリも表示上儲かっているように見せるだけで実際には投資が行われていないと見られる^[32][33]。
• テイラー・スウィフト^[34][16]、トム・ハンクス^[35]、オプラ・ウィンフリー^[36]、イーロン・マスク^[37]などの有名人が、提示した金額より大幅に高額な料金を請求するダイエットグミ^[36]、偽のiPhoneのプレゼント企画^[34][38]、詐欺的な情報商材^[37][39]、投資ネタ^[40]、および暗号通貨の儲け話^[41][42]などを推奨しているかのように見せるフェイク動画が詐欺広告としてYouTube、Facebook、TikTokの広告に掲載されていた^[43][34][38]。これらの有名人を用いたディープフェイクのひとつでは、数千のビデオが作成され1億9500万回以上視聴されているなど広く拡散された^[43][44]。
• セキュリティソフトメーカーのマカフィーが2023年5月15日に発表した調査では、調査対象の7,000 人のうち4人に1人の割合で自分もしくは知人が被害に遭遇した経験があるとし、被害者の77 %が騙されて金銭を支払ったと回答した^[45][46]。

フェイクポルノ

• 2024年1月頃には歌手のテイラー・スウィフトが性的なディープフェイクを画像生成AIで作成されてソーシャルメディア上で拡散する事案があった。この画像はマイクロソフトの画像生成AI「マイクロソフト・デザイナー」により作成された疑いがある^[47]。
• サイバーセキュリティ会社「DeepTrace」の2019年10月の調査によると、過去7か月で1万4,678件のディープフェイク動画が確認され、1年で倍増しており、その96 %がポルノ動画だった^[48]。

プロパガンダ

→「フェイクニュース」も参照

• アルゼンチン大統領のマウリシオ・マクリの顔はアドルフ・ヒトラーの顔に、そしてアンゲラ・メルケルの顔はドナルド・トランプの顔に置き換えられた^[49][50]。
• トランプが中国を訪問していた2017年11月に中国企業のiFlytek（英語版）は流暢な中国語を話して自社とAIを褒めたたえるトランプのディープフェイクを披露して波紋を呼んだ^[51][52]。
• 2018年4月、ジョーダン・ピールとジョナ・ペレッティ（英語版）は、ディープフェイクの危険性に関する公共広告として、バラク・オバマを使ったディープフェイクを作成した^[53]。
• 2019年1月、KCPQは、オーバルオフィス（大統領執務室）におけるトランプの演説のディープフェイクを放映し、彼の外観と肌の色をあざけった^[54]。

• 金正恩のディープフェイク動画

  2020年9月29日、超党派の政治団体RepresentUsが作成した北朝鮮の指導者金正恩とロシアのウラジーミル・プーチン大統領のディープフェイクがYouTubeにアップロードされた^[55]。

  プーチンがアメリカ人に選挙介入と政治的分断への警戒を呼びかけるディープフェイク動画

  金とプーチンのディープフェイクは、外国勢力による米国選挙への干渉は米国の民主主義に有害であるという考えを伝えるコマーシャルとして一般に放映されることを意図していた。このコマーシャルはまた、アメリカ人に民主主義がいかに脆いものであるか、またメディアやニュースが信頼性に関係なく国の進路にいかに大きな影響を与える可能性があるかを認識させ、ショックを与えることを目的としていた^[55]。コマーシャルには映像が本物ではないことを説明するコメントが含まれていたが、混乱を恐れた結果、最終的に放送されなかった^[55]。

• 2022年3月16日、2022年のロシアによるウクライナ侵攻の最中、ウクライナ大統領のヴォロディミル・ゼレンスキーが兵士らに武器を捨てて降伏するよう指示しているかのような様子を描いた1分間のディープフェイク動画がソーシャルメディア上で拡散された^[4]。ロシアのメディア企業がそれを拡散したが、フェイクが暴かれた後に削除された。ツイッターは、フェイクであることを明示したツイートで動画を投稿することを許可したが、騙す目的で投稿された場合は削除するとの方針を示した。ハッカーらはウクライナのテレビ局のニューススクロールにゼレンスキーが首都キーウから逃亡したとする虚偽の情報を挿入し、そのビデオは同局のウェブサイトに一時的に掲載された。ディープフェイクを作成した犯人はすぐには明らかにならなかったが、ゼレンスキーは自身の動画で「武器を放棄するつもりはない。勝利するまでは」と述べた^[56]。
• 2022年から始まったロシアのウクライナ侵攻では、当初からディープフェイクとみられる複数の映像が拡散されている^{[57] [58] [59] [60]}

• 2023年、AI技術を駆使しニュース番組の画面に見せかけた上で当時の日本の内閣総理大臣岸田文雄が卑猥な言葉を発してるように見せたディープフェイク動画がSNSで拡散された^[61][62]。
  →「岸田文雄偽動画拡散問題」も参照
• 2023年6月5日、謎の情報源により複数のラジオおよびテレビでプーチン大統領のディープフェイクが放送された。この映像では、プーチン大統領がロシアの侵攻を発表し、軍の総動員を呼びかける演説を行っているように見せていた^[63]。

• 

  ローマ教皇のディープフェイク

  2023年3月、匿名の人物がMidjourneyを利用して、バレンシアガの白いジャケットを着たローマ教皇フランシスコの偽画像を作成した。この画像は急速に広まり、2000万回以上の閲覧数を記録した^[64]。作家のライアン・ブロデリックはこれを「初の本格的な大衆レベルのAI誤報事件」と呼んだ^[65]。 オンラインメディアのSlateから相談を受けた専門家は、この画像は洗練されていないとして、「5年前ならPhotoshopで作成できたかもしれない」と述べた^[66]。

架空の人物をでっち上げたプロパガンダ

• オリバー・テイラーという架空の人物は、新聞に意見記事を投稿し、オンラインメディアでイギリスのある法学者とその妻を「テロリストの同調者」として攻撃する活動を行った。この学者は2018年、イスラエルのスパイウェア企業NSO Groupの電話ハッキング技術の被害者であるとされるメキシコ人を代表して、NSO Groupに対してイスラエルで訴訟を起こし国際的な注目を集めた。ロイターはオリバー・テイラーに関するわずかな記録しか見つけられず、「彼の」大学には所属を示す記録が存在しなかった。プロフィール写真がディープフェイクであることについて多くの専門家の意見が一致した。新聞社は、同人物によるとされる記事を撤回したり、ウェブサイトから削除した。このような手法が偽情報の新たな戦場となることが懸念されている^[67]。
• ソーシャルネットワーク上の存在しない人物のディープフェイクは、イスラエル右派プロパガンダの一環として展開されている。 フェイスブックのページ「シオニストの春」には、その架空の人物がいかにして左派から右派に転向したのかを説明すると称する「証言」とともに、実在しない人物の写真が掲載されており、そのページにはイスラエルのベンヤミン・ネタニヤフ首相とその息子、そして他のイスラエル右翼筋からの情報が多数掲載されていた。写真の多くは、実在の人物の写真からデータを取得して、存在しない人物のリアルな合成画像を生成するディープフェイクによるものと見られる。 「証言」の多くでは、右派を支持する理由として、ネタニヤフに対する暴力への扇動を知ったショックが挙げられている。イスラエルの右派メディアは、実在しない人物であるにもかかわらず、これらの「証言」を放送した。他のフェイスブックの架空のプロフィールには、右派の政治家に対する攻撃を促しているとも見れる内容が含まれており、これに反応してネタニヤフは首相殺害計画があったと訴えた^[68][69]。

風刺

ハリウッドの名作映画の俳優を別人に入れ替える際にディープフェイクを用いることで、笑いを取るものがある^[70]。コントローラーシフトフェイスというYouTuberは映画『ホーム・アローン』の主演であるマコーレ・カルキンをシルバー・スタローンに入れ替えた動画を作成したり、ダープフェイクスというYouTuberが映画『サウンド・オブ・ミュージック』から『ファイト・クラブ』まで出演者の顔をニコラス・ケイジの顔に替えた映画を集めた「ニコラス・ケイジ・メガ・ミックス」を作成した^[70]。

その他

• 日本赤十字社東京都支部が、関東大震災から100年に際しての体験記などを生成AIに読み込ませることで、新たな「証言」を作成し展示する企画展を計画した。ところが、この計画に対し、SNS上で「記録の捏造である」などの批判が殺到し、同支部は企画展の中止に至った^[71]。

対策

法規制

欧州連合

2024年3月、欧州議会は偽情報対策のため生成AIで作成したコンテンツに明示義務を課すAI法（人工知能法）を可決した。違反したプロバイダには巨額の制裁金が課せられる^[72]。

アメリカ

アメリカでは選挙介入やフェイクニュースに利用される懸念があり^[73]、ディープフェイクの問題に対して立法の動きが見られる。 2018年に悪意のあるディープフェイクを禁止する法案が上院に提出され^[74]、2019年にディープフェイク責任法が下院に提出された^[6]。バージニア州^[75]、テキサス州、カリフォルニア州、ニューヨーク州など、いくつかの州でもディープフェイクに関する法を導入している^[76]。 2019年10月3日、カリフォルニア州知事ギャビン・ニューサムは法案第602号および第730号に署名した^[77][78]。法案第602号は、同意なしに作成された性的なディープフェイクの標的となった個人に対し、コンテンツの作成者に対する訴訟請求権を規定する^[77]。法案第730号は、選挙期間の60日間における公職への立候補者をターゲットにしたディープフェイク音声またはディープフェイク動画の配布を禁止する^[78]。なりすまし、サイバーストーカー、リベンジポルノのようなさまざまなものが告発する包括的な法令の制定を目指す動きもある^[79]。

カリフォルニア州のギャビン・ニューサム知事は2024年9月17日から20日にかけて、ディープフェイク対策の9つのAI関連法案に署名した。選挙対策としては、生成AIを用いて内容が改変された選挙広告に対し、改変した事実の開示を義務付け、フェイスブックやXなどのオンラインプラットフォームに対し、選挙関連のディープフェイクの削除やラベル付けを義務付ける。選挙について生成AIで誤解を招くように改変されたコンテンツを含む広告ほか選挙資料を意図的に拡散し、有権者を欺くことを取り締まる。俳優の肖像等の無断利用に対しては俳優の声や容姿利用で俳優からの許可取得を義務付け、故人の俳優のデジタルでの再現を遺族の同意なしに作成することを禁止する。フェイクポルノに関してはディープフェイクヌード画像の作成と拡散を違法とし、生成AIで作成したヌード画像を使用して個人を脅迫することを禁じ、ソーシャルメディアのプラットフォームに対し、フェイクヌード画像を報告できる仕組みを義務付ける。生成AI音声の場合、その音声が生成AIで作成されたことの情報を開示することを義務付ける。生成AIには学習元データの開示を義務付け、利用者には無料の識別ツールによって生成AIによるコンテンツであることを検出可能とする^[80]。

2025年現在、30以上の州で同意なしのディープフェイクポルノの作成や共有を規制する州法が制定されている^[81]。

韓国

2024年9月26日、韓国では知人や同級生のフェイクポルノ拡散が深刻な社会問題となっていることを受けて、所持や視聴の場合についても処罰の対象とする対策強化の法案を可決した。違反した場合3年以下の懲役または3000万ウォン以下の罰金を科すとしている^[82]。

中国

2019年11月、中国では政府のサイバースペース管理局が、ディープフェイクやその他の偽造された映像にはフェイクであることを明示する必要があると発表し、従わない場合は犯罪とみなされる可能性があると通知した^[83]。中国政府は、規則を遵守しないユーザーとプラットフォームの両方を訴追する権限を有する可能性がある^[84]。

日本

日本では、ディープフェイク作成行為自体を取り締まる法律はなく、専門家からは現行法の不備と規制の必要性が指摘されている^[81]。

2025年1月、鳥取県知事の平井伸治は国に先駆けて、生成AIで作成された子どものディープフェイクポルノを「児童ポルノ」として条例で規制する方針を発表した。国立情報学研究所の佐藤一郎は、県外や海外から発信されるディープフェイクに対して実効性は不十分とし、「本来は国レベルで考えるべきこと」と指摘しながら、一定の抑止力があると評価した^[85]。

イギリス

イギリスでは、「嫌がらせ目的」としてでしかディープフェイクの製作者を起訴できず、ディープフェイクそれ自体を犯罪に指定することが求められていた^[86]。

2023年に「オンライン安全法」が制定され、ディープフェイクポルノの共有が禁止された^[81]。

オーストラリア

オーストラリアはフェイクポルノの温床となっているディープフェイクの製作を規制する法律を設けている^[87]。

反響

AI研究者のアレックス・シャンパンダルは、ディープフェイク技術によって世界がいかに早く混乱するかが知られるべきであり、この問題は技術的な問題ではなく、むしろ情報とジャーナリズムへの信頼によって解決されるべき問題であると述べた^[12]。問題はメディアの内容が真実かどうかを判断できない時代に人類が陥る可能性であるとした^[12]。

南カリフォルニア大学のコンピューター科学者ハオ・リーは、ディープフェイク技術の認識を広めるために何もしなければ、フェイクニュースなどの悪意のある使用のために作成されたディープフェイクはさらに有害になるだろうと述べている^[88]。リーは、人工知能とコンピューターグラフィックスの急速な進歩により、2019年10月の時点で、早ければ半年以内には本物の動画とディープフェイクの区別がつかなくなるだろうと予測した^[88]。

グーグルで詐欺対策に従事していたシュマン・ゴーセマジュムダー（英語版）は、ディープフェイクを「社会的問題」の領域とし、ディープフェイクは必然的に自動生成の段階まで進化し、個人がその技術を利用して何百万ものディープフェイク動画を制作できる可能性があると述べた^[89]。

スイスに本社を置く新聞社であるAargauer Zeitung（英語版）は、人工知能を使った画像やビデオの操作は、危険な大量のメディアがあふれることになる可能性があると述べている。しかし、画像やビデオの改ざん自体は、動画編集ソフトウェアや画像編集ソフトウェアの登場よりもずっと古いものであり、このたびのディープフェイクの場合、新しい側面はそのリアリズムにあると主張している^[49]。

インターネット事業者

Twitter（現・X）やGfycatなどのいくつかのウェブサイトでは、ディープフェイクのコンテンツを削除し、その発行元をブロックすると発表している。以前、チャットプラットフォームのDiscordは、有名人のフェイクポルノビデオのチャットチャンネルをブロックした。ポルノグラフィのウェブサイトの Pornhubもそのようなコンテンツをブロックする予定であるが、その禁止を強制していないと報告されている^[90][91]。 Redditでは、2018年2月7日に「不本意のポルノ」のポリシー違反により、subreddit（Redditのサブフォーラム）が一時停止されるまで、初期の状態が削除されないまま残っていた^[92][93][94]。2018年9月、グーグルは、誰もが自分の本物あるいは偽物ヌードのブロックを要求でき、その禁止リストに「不本意の合成ポルノ画像」を追加した^[79]。

ソフトウェア

2018年1月、FakeAppというデスクトップのアプリケーションが発表された。このアプリケーションでは、ユーザーが顔を入替えた動画を簡単に作成および共有できる^[35][95][96]。

2018年8月、カリフォルニア大学バークレー校の研究者は、人工知能を使って子供をプロのダンサーに置き換えることができるフェイクダンスアプリケーションを紹介する論文を発表した^[97][98]。

2019年8月、中国で1枚の顔写真でディープフェイクを作成できるZAOというアプリケーションが発表されて同年9月にApp Storeの人気ランキングで1位になるもユーザーの同意なしにデータを使用される可能性があるプライバシーポリシーが物議を醸した^[99][100]。