Anthropicのアラインメント科学責任者が、「AIが全人類を殺す確率は今後10年で10%超」と公言した。この数字は本当なのか。本稿は、数字の真偽を裁くのではなく、この発言が露呈した「競争の構造」及びその問題の難しさを読み解き、不確実な情報のもとで取りうる現実解を、日本への示唆として論じる。
フロンティアAI従事者からの衝撃的なメッセージ
2026年9月8日、Anthropicの研究者Jacob CoxonがX（旧Twitter）で辞職を表明。OpenAIとAnthropicで約3年、AIモデルの事前学習を研究してきた人物である。「AIを作っている人々は、2020年代の終わりまでにAIが我々全員を殺しうると本気で信じている」、「両社とも責任ある行動をしていない。自己改善する超知能へ一直線に突き進み、我々の命を賭けている」と投稿し、株式を放棄して業界を去った。閲覧数は9月10日時点で1億5,000万回を超えた（Fortune）。
Jacob CoxonのX投稿の82分後、Anthropicのアラインメント科学責任者Evan Hubingerが次のように返信した。
Jacobの言うとおりだ。我々は本当に、AIが全人類を殺しうると本気で信じている。私個人は、その確率は今後10年で10%超だと考えている。Anthropicは最善を尽くしていると信じるが、超知能のアラインメントを解決する計画は、我々にはまだない。そして、それを解決する軌道に明確に乗っているわけでもない。
Hubingerはこの直後に、次の補足を投稿している。
はっきりさせておくと、最新のリスク報告書で述べているとおり、現在のモデルによるリスクは低いと私は考えている。私が懸念しているのは、再帰的自己改善から生じる超知能である。
Jacob Coxon、更にEvan Hubingerの発言は、アメリカのAI業界と政界に大きな衝撃を与えている。発言の直後から、連邦議会でAI規制を求める動きが一気に強まった。7月に提出されていた「AI Kill Switch Act」（Moran下院議員とLieu下院議員、AIシステムを停止・中断させる機構の保持を企業に義務づける）が改めて注目を集め、上院ではCruz、Thune、Klobucharの3議員が破局的リスクを対象とする法案を協議している。Klobuchar議員は「AIが安全であることを確かめるため、企業は政府の専門家と共にモデルを検証・試験すべきだ」と述べた。州レベルでも9月9日、カリフォルニア州のNewsom知事が、AIの第三者検証機関と監査人登録制度を創設する2法案に署名している。
少し論点を整理すると、この一連の議論の核心は「AIの再帰的自己改善 — RSI（Recursive Self-Improvement）」である。これはAIが自らの改善を繰り返し、人間に依存せずに進化していく過程を指す。この過程に入れば、AIは現在より更に飛躍的に進化しうる。
AIの再帰的自己改善を巡っては、実はJacob CoxonのX投稿の2日前に、OpenAIのチーフサイエンティストJakub Pachockiが「An Alien Mind」と題した文章で論じていた。彼は、AIの進歩が継続すれば、再帰的自己改善が将来の科学的発見の中核を占めると予想し、OpenAIにとってもそれがAI研究のフロンティアに留まり続けるための唯一の道だと述べている。しかし、それに伴うリスクについては「今は極度の慎重さが求められる時である」と書く。リスクへの対処として彼が挙げるレバーは二つ。一つは、AIの進歩と並走してアラインメントと監視を強化し、人間を改善の中に留める方法を見いだすこと。もう一つは、その措置への確信を構築するために必要な範囲で、協調して開発を減速することである。そして現時点での最善の道は、その二つの組み合わせだとする。
そして9月12日、AnthropicのCEOであるDario Amodeiは「We Must Pace the Frontier」と題した文章を公開し、「我々はAIモデルの能力を向上させるペースを落とさなければならない（We must slow the pace at which we improve the capabilities of AI models）」と書き、さらに減速のフレームワークを、外部第三者評価チームの常駐の受け入れ、民主国家の企業間での共通基準とペース上限の協調、そして権威主義国政府との可能な範囲での協調、という3段階で提案した。OpenAIのCEOであるSam Altmanも「フロンティアのペースを制御する必要があるというDarioの意見に同意する（I agree with Dario that we need to pace the frontier）」と応じている。
ゲーム理論から分かるAI競争での協調の難しさ
「AIの再帰的自己改善に重大なリスクが伴う」という点について、Jacob Coxon、Evan Hubinger、Jakub Pachocki、Dario Amodeiは一致している。それに対して、Jacob Coxonはこれを停止するべきだと主張し、Evan Hubingerはそのリスクの時間条件付きの確率と大きさのレベルを示し、Jakub Pachockiは解決策の可能性を論じ、Dario Amodeiは具体策を提案した。Sam Altmanがそのペース制御の必要性に同意したことも、この認識の広がりを示している。即ち、フロンティアAI従事者は同じリスク認識を持ちながら、対応は分かれる。特に、停止を求めるJacob Coxonと、進めながら枠組みを作ろうとするJakub Pachocki・Dario Amodeiの隔たりが大きいように見える。
この議論の要素を一つの簡単な式でまとめてみよう。フロンティアAIのプレイヤーたちは、下記の式に直面している。
AI競争の期待価値 =
競争勝利の確率×勝利報酬 – 競争失敗の確率×失敗ペナルティ – AIリスク確率×AIリスク大きさ
例えば、Anthropic、OpenAIのようなフロンティアAI会社は、もしAI競争に勝ち残るのであれば、莫大な市場シェアや収益を得られることだけではなく、潤沢な新規投資も継続的に獲得できる。一方で、もし競争に失敗したら、未来のチャンスを失うことはもちろん、今まで築いてきたビジネス基盤も危ぶまれることになる。
会社レベルの話だけではない。米中AI競争の論点を視野に入れると、この式が意味する結果の非対称性が分かる。今AI産業を世界的にリードしている米国に対して、競争に勝ち続ければ今の競争優位性を保てるが、もし失敗したらAI領域だけではなく、経済・政治・軍事など様々な領域で大きな連鎖的な負の影響が起きうる。だからこそ、米財務長官Scott Bessentは2026年9月8日、ワシントンでの講演で「中国がこれに勝てば、明後日はない」「AIで我々を引き離せば、他の何ひとつ意味をなさなくなる」と述べた。つまり、勝利報酬より、失敗ペナルティのマグニチュードが遥かに大きい。
中国から見るとその状況はほぼ逆転し、勝利報酬の大きさは失敗ペナルティより圧倒的に大きい。第1項と第2項が表す勝敗は、プレイヤーの間でゼロサム（Zero-sum）になっている。誰かの勝ちは、誰かの負けである。
こうして見ると、この式の第3項、AIリスク項は、様々な意思決定の場面で後回しにされがちであることは容易に想像される。なぜならば、第1項の報酬と第2項のペナルティと異なり、第3項の負担者はプレイヤー自身のみではなく、社会全体、ひいては全世界になるからである。つまり、第3項は実は外部項であり、一人のプレイヤーだけから見るとそのコストの一部分しか負わず、しかも一人のプレイヤーだけでは制御できない。
外部性ゆえに、第3項は、第1項と第2項より不確実性も大きい。会社の垣根、そして国の垣根を超えて必要な情報共有と協調連携ができていない限り、その確率と被害の大きさの定量化だけでも非常に難しい。
確かに会社の間、国の間で協調によりフロンティアAIの開発を減速することで、Jakub Pachocki、Dario Amodeiが提案するように第3項のリスクの低下へ寄与することは考えられるが、プレイヤー間の信頼関係が築かれていない限り、片方の減速は自らの勝利確率を下げるだけであり、合理的に考えればプレイヤーはそういう行動を取ることはない。さらに難しいのが、企業と企業の間で国や公的な機関が律することができるが、国自体もAIプレイヤーになっており、現時点AI発展を巡って国を律する仲裁者は存在しない。
日本への示唆：不確実な情報のもとで現実最適解を求める
さて、日本はどのようにこの議論に関わるのか。このAIリスク議論の本質は、フロンティアAIの再帰的自己改善がもたらすリスクと、そのリスクを防御する可能性及びそのための開発ペース管理の話である。前述の式が表すように、第1項と第2項の勝敗が、フロンティアAIのプレイヤーの間の話であり、日本は直接には影響されない。ただし、日本はフロンティアAIのプレイヤーではないものの、勝敗の結果が引き起こす経済・地政学的な連鎖からは抜けられない。
また、第3項が示すAIリスクの外部性に関しては、日本も他の国も同様にリスクを負うことになり、直接利害関係者である。
そう考えてみると、AIリスクに関して様々な情報が不確実でありながら、日本が取るべき現実解の姿が見える。まず、現状のAIの活用による企業生産性・収益性を向上させる方向性は、フロンティアAIの発展リスクとはほぼ無関係である。さらに、日本のAI技術力の向上も、フロンティアAIプレイヤーと肩を並べるまでは第3項のリスクを押し上げることが実質的にないので、減速の理由にならない。むしろ、今のフロンティアAIの最新発展前線を安全ラインとして、日本はそれまでに全力でAIを活用し、発展させれば良いと考えられる。
そして第3項に関しては、日本はフロンティアAIのプレイヤーの間に対話環境、信頼関係構築のために貢献する可能性があり、それらの活動によりAIリスクを低減することに寄与できると思われる。フロンティアAIプレイヤーではないからこそ、第三者として提案できる立場を持つからである。
本稿の冒頭で引用した、Anthropicのアラインメント科学責任者Evan Hubingerの「10%超」という数字は検証できるものではない。ただし、このフロンティアAIリスクの議論が露わにした、フロンティアAIの競争における報酬とペナルティの非対称性、AIリスクの外部性、企業と国の二重プレイヤーの構造、そして国を律する仲裁者の現時点の不在などは、この問題の複雑性、そして進展の不確実性を大幅に増している。だが、日本にとってはその問題構造の読み方はむしろ簡単である。フロンティアAIの当事者でない以上、日本には減速する理由がない — 最前線に肩を並べるまで、全力で活用と開発を進めればよい。同時に、当事者でないからこそ、対話の場を提案できる立場になりうる。その二つの戦略をどう活かし、どのように最大効果を生み出すか。それが、日本にとっての真の論点である。
参考文献・出典
- TIME — “He Helped Build Powerful AI at OpenAI and Anthropic. Now He’s Afraid It Could Kill Us” — Jacob Coxonの辞職投稿の内容、年齢、両社での在職経歴（ブラウザ以外からの直接アクセスは制限される場合がある）
- Fortune — “Ex-Anthropic researcher Jacob Coxon says AI could end humanity…” — 9月10日時点で閲覧数1億5,000万回超
- Evan Hubinger — X投稿（2026年9月8日） — 「今後10年で10%超」、超知能のアラインメントを解決する計画がないとの発言
- Evan Hubinger — X補足投稿（2026年9月8日） — 現在のモデルのリスクは低く、懸念は再帰的自己改善から生じる超知能であるとの補足
- Anthropic — “Risk Report, August 2026″（PDF） — Hubingerが補足投稿で参照した自社のリスク評価
- Jakub Pachocki（OpenAI）— “An Alien Mind”（2026年9月6日） — 再帰的自己改善の見通し、「極度の慎重さ」、二つのレバーとその組み合わせ（ブラウザ以外からの直接アクセスは制限される場合がある）
- Dario Amodei（Anthropic）— “We Must Pace the Frontier”（2026年9月12日） — 能力向上のペースを落とすべきとの主張、および3段階の減速フレームワーク
- NBC News — “Sam Altman backs Anthropic CEO’s call to slow down the global AI race”（2026年9月12日） — AltmanがXでAmodeiの主張に同意した発言
- Al Jazeera — “US legislators push AI safety laws amid human extinction warnings”（2026年9月11日） — 米議会でのAI規制立法の動きの整理
- Reuters（The Spokesman-Review 配信）— “U.S. Senate negotiators consider requiring AI firms to mitigate known major risks” — Cruz・Thune・Klobuchar による法案協議、Klobuchar上院議員の発言
- Rep. Ted Lieu — “Reps Lieu and Moran Introduce Bill to Require Kill Switch for AI Systems”（2026年7月23日） — AI Kill Switch Actの提出と内容
- カリフォルニア州知事府 — “Governor Newsom signs first-in-the-nation AI safeguards…”（2026年9月9日） — SB 813・AB 1405への署名、第三者検証機関と監査人登録制度の創設
- Bloomberg（Yahoo Finance 転載）— “Bessent Warns Nothing Would Matter If China Wins the AI Race” — 2026年9月8日のBessent米財務長官の発言