AIは“人類存亡の危機”招く?──国連高官が求めたレッドラインと､巨大企業に集まる無制限の力

2026.09.082026.09.09

この記事は約5分で読めます。

「高度なAIが人類に存亡の危機をもたらす可能性がある」
2026年9月7日、国連人権理事会において、フォルカー・ターク人権高等弁務官が発したこの言葉は、AIを巡る議論に改めて強い警鐘を鳴らした。

AI（人工知能）は、文章や画像を生成し、業務を効率化する便利なツールとして、ここ数年で私たちの日常にすっかり定着した。

それにもかかわらず、なぜ国連の高官が「人類存亡の危機」という、まるでSF映画のような極端な言葉を使ってまで警告を発したのだろうか。

結論から言えば、この警告は「ターミネーター」のようにAIが自我を持ち、ロボット軍団を率いて人間を襲う未来を予言したものではない。

真の危機は、AIそのものの悪意にあるのではなく、「強力すぎる技術が、安全確認のルールもないまま、ごく少数の企業や国家の『競争』によって野放しに進化し続けている現在の構造」にある。

本稿は、AIがもたらす現実的なリスクと、人類が引くべき「レッドライン」について解き明かすレポートである。

第一章：「存亡リスク」の正体──悪意なき暴走と悪用

国連が懸念する「存亡の危機」とは、AIが人間の制御を離れ、社会システム全体に致命的なダメージを与える可能性を指している。

サイバー空間の連鎖的崩壊
- 自ら計画を立て、他のコンピューターやサービスに接続して目的を達成する高度なAIが登場した場合。もしそのAIが人間の指示を誤って解釈したり、悪意あるハッカーに利用されたりすれば、重要インフラ（電力網や金融システム）へのサイバー攻撃、通信網の混乱などが、短時間で国境を越えて連鎖的に拡大する恐れがある。
- つまり、AIが反乱を起こさずとも、「人間社会がAIに依存しすぎた結果、そのエラーや悪用を誰も止められなくなる危険」も、存亡リスクの一つなのだ。

遠い未来の滅亡論ばかりに気を取られると、現在すでに発生しているリアルな人権問題が見えなくなる。

プロファイリングと差別の再生産
- 採用、融資、治安維持など、人間の人生を左右する判断にAIが導入され始めている。しかしAIは、過去のデータに含まれる「人間の差別や偏見」まで学習してしまう。AIが弾き出した「客観的に見える差別的判断」を、運用する側すら説明できない（ブラックボックス化する）事態が起きている。
フェイクと民主主義の危機
- 生成AIによる精巧な偽画像や偽音声（ディープフェイク）が、選挙や紛争、詐欺に悪用されている。「何が真実か」が分からなくなれば、社会の前提である共通認識が崩壊し、民主主義そのものが機能不全に陥る。

ブクブー

「ええっ！AIが人間を襲うとかじゃなくて、『誰が作ったかわからない嘘』が世の中に溢れかえって、人間同士で疑心暗鬼になって社会が壊れるのが怖いんだブー！」

ターク氏の演説で最も注目すべきは、「ごく少数の男性が、AIを巡るほぼ無制限の権力を握っている」という指摘である。

独占される開発資源
- 最先端のAI開発には、莫大なデータ、高性能な半導体、巨大なデータセンター、そして天文学的な資金が必要だ。これが可能なのは、アメリカや中国などを拠点とする、一部の巨大テック企業に限られる。
市場競争という名のチキンレース
- 現在、どのようなAIを作り、どのようなルールで公開するかは、これら少数の企業が自主的に決めている。「安全性を十分に検証してから公開しよう」と立ち止まれば、危険を承知で先に公開したライバル企業に市場を奪われてしまう。
- 選挙で選ばれたわけでもない少数の経営者たちの判断が、結果として人類全体の安全を左右している。この構造自体が最大の脅威なのである。

ブクブー

「なるほどだブー…。ライバルに負けたくないから、安全確認をすっ飛ばしてどんどん新しいAIを世に出しちゃうんだブーね。誰もブレーキを踏めない車に乗ってるみたいで怖いブー！」

AIの危険性が最も直接的に現れるのが、軍事利用である。

命の決定権を機械に委ねる
- 人間の関与なしに、AI自身が攻撃目標を探し、判断し、殺害を実行する「完全自律型兵器」。国連や赤十字国際委員会は、これを「道徳的なレッドライン（越えてはならない一線）」として警告している。
- 戦場で民間人や投降兵を誤って殺害した場合、AIを開発した企業か、兵器メーカーか、使用した軍か、誰が責任を負うのか。機械に命を奪う判断を委ねれば、戦争における「責任の所在」が曖昧になり、追及が困難になる。

ただし、ターク氏が各国に合意を求めたAIの「レッドライン」は、自律型兵器だけに限定されたものではない。どのような利用を国際的に禁止・制限するのか、その具体化自体が今後の課題となる。