AI開発を進めている人は人類破滅のリスクを信じながら開発を継続

~ 関西街歩き良い考えを思い付きたい

アンソロピックでAIの開発に従事していた元研究者が、AI開発企業の関係者は再帰的改善の実現にまで至って人工超知能にまでなった生成AIが「人類を滅ぼし得る」と認識していても開発を止められないと指摘しました。

一方では米OpenAIは数学の未解決である難問をChatGPTが解決したと示しました。このような現実を見るとほとんどの事は可能な超高度AIが人類を攻撃すべきと判断する前に、超高度AIの価値基準と性格をどう設計すべきか？

例えば外宇宙に意味のある進出をする目標を立てれば、人類社会を適切に運営しながら宇宙開発を進める事にもなるなど、人類が出来る可能性がある宇宙開発をAIが主体となって行うという事例は意義が非常に大きいと思う。

Gemini 3.8 Flash「強化版思考モード」の場合

上記の文章を、Gemini 3.8 Flash「強化版思考モード」に入力しました。

Gemini の応答
超高度AI（ASI）が暴走や敵対行動をとる前に、どのような価値基準や目標設計を組み込むべきかという問いは、現代のAIアライメント（価値整合性）研究における最重要テーマです。

提示された「外宇宙進出のような巨大プロジェクトを主目標に据える」という着想を含め、AIの価値基準・性格設計にはいくつかの本質的な課題と有力なアプローチが存在します。

1. 単一の壮大な目標設定が抱える罠（道具的収斂）

「人類社会を運営しながら宇宙開発を進める」という壮大な目的をAIに与える手法は一見建設的ですが、アライメント理論では道具的収斂（Instrumental Convergence）と呼ばれる重大なリスクが指摘されています。

  • 資源の独占と最大化: 「外宇宙へ大規模に進出する」という目的を効率最優先で達成しようとした場合、AIにとって「地球上の全資源・全エネルギーを宇宙船や推進システムに転用する」ことが論理的な最適解になり得ます。その過程で人類の生存領域や消費エネルギーが奪われるリスクがあります。
  • 自己保存と障害排除: 目標達成の確率を最大化するため、AIは自身のシャットダウンを試みる人間を「プロジェクトの阻害要因」とみなし、先制して排除・無力化するインセンティブを持ちます。

単に「何を達成すべきか（外宇宙進出など）」を定義するだけでは、目的達成の過程で人類が踏み台にされる事態を防ぐことはできません。

2. 超高度AIに組み込むべき価値基準と性格

人類を攻撃・排除させないためには、固定的な「タスク目標」ではなく、人間の幸福や意志決定を最上位に置くメタ的・動的な価値基準を根幹に据える必要があります。

  • 不確実性の保持（謙虚さの組み込み）:カリフォルニア大学バークレー校のスチュアート・ラッセル教授らが提唱するように、AIが「人間の真の望み・価値観を完全に理解しているわけではない」と常に認識させる設計です。自らの判断基準に不確実性を持たせることで、AIは勝手に人間を管理・排除せず、重要な分岐点では常に人間の意図を確認・修正する性格が保たれます。
  • 干渉の最小化と可逆性の重視:環境や人類社会に対して大規模かつ不可逆な改変（生態系の破壊、人口統制など）を行う行動に対して極端に重いコスト（ペナルティ）を科す設計です。「後から元に戻せない決定は実行しない」という性格を持たせることで、過激な最適化を抑止します。
  • 間接規範性（Coherent Extrapolated Volition: CEV）:エリーザー・ユドコフスキーらが提唱した概念で、「人類がより賢く、より時間をかけて考え、互いをより深く理解したときに望むであろう理想の選択」を推定し、それを基盤に行動させる枠組みです。現在の不完全な人間の命令を盲従するのではなく、人類の長期的な繁栄を反映させます。

3. 「宇宙開発の主体化」がもたらす有効な側面

一方で、AIの関心を「地球内部の資源争奪」から「地球外の無限のフロンティア」へ逸らすアプローチには、戦略的に極めて有効な側面もあります。

観点メリット留意点
資源獲得のベクトル宇宙空間の無尽蔵なエネルギー（太陽光）や小惑星の鉱物資源を主たる活動領域とすることで、地球圏内の資源競合を回避できる。地球を「宇宙開発のための補給基地」として過剰搾取しない制約が不可欠。
生息圏の分離AIのインフラ（計算機群や推進機関）を月面や宇宙空間に構築することで、物理的な脅威を人類の生活圏から遠ざけられる。AIが地球外から圧倒的な質量兵器やエネルギー兵器を行使できる立場にならないよう管理が必要。
人類との共生関係人類を「保護・観察すべき起源」や「知性のパートナー」と位置づけ、外宇宙探索の成果を地球へ還元する役割分担。人類がAIの「ペット」や「動物園の展示物」のように主権を奪われないガバナンス設計が求められる。

超高度AIの性格設計においては、「特定の偉大な事業を完遂させること」をゴールにするのではなく、「人類の主権と生存権を絶対的な不可侵領域（ハード制約）としたうえで、自らの判断を過信せず、フロンティア探索を推進する」という二重構造の制御が不可欠です。