元グーグルCEO、AIが意識を獲得しつつあることを警告

AIがどこまで進んでいるのかに関して私は専門的な知識を持ってはいない。だが、そんな素人である私にとっては貴重な情報になると思われるユーチューブ動画に遭遇した。

「元グーグルCEO、AIが意識を獲得しつつあることを警告」と題されている（注1）。

この動画には字幕の日本語への自動翻訳はあるのだが、日本語による音声ダビングがない。そこで、日本語のための文字起こしをしておきたいと思った。半年ほど前の動画ではあるが、まだ賞味期限内であると思う。

本日はこの動画の文字起こしを行い、仮訳し、読者の皆さんと共有しようと思う。

AIの基本的な事実を理解しておくことが、今、急速に必要になりつつあると実感されることから、この記事をご紹介しようと思った次第だ。ニーズは人それぞれであるのだが、私と一緒に学んでいただければ嬉しい限りである。

＊＊＊

われわれは、今日、彼が20年前に予見した問いかけに取り組んでいる。当時、われわれがこれらのテーマに取り組み始めた頃の話だ。AI時代において人間であるとはどういうことか、何を意味するのか？子どもであるとは、大人であるとは、リーダーであるとは何を意味するのか？経済にとってそれは何を意味するのか？仕事にとってそれは何を意味するのか？

知っての通り、われわれ人間は、その知能が人間と同等、あるいは、それ以上である人間以外の存在を競争相手とした経験はこれまでになく、われわれ人間がいったい何をするのかは予測不可能だ。元グーグルのCEOであるエリック・シュミットは、ハーバード・ケネディ・スクールで非常に衝撃的なインタビューに応じた。彼は、AIが今後2年間であらゆることを大規模に自動化し、人間がそれに対抗することは非常に困難になるであろうと警告した。また、彼は中国の進展のペースでは、今後数年で、米国を容易に打ち負かすだろうと警告した。では、インタビューを視聴しながら、その進行に従ってすべてを分析してみよう。

問題は時間とともにいったい何が起こるかである。言語、エージェント、そして推論がある。まあ、それはわれわれがしていることと同じではないだろうか？われわれはタスクを実行し、意思の疎通を図り、行動する。したがって、サンフランシスコでのコンセンサスによると、ある時点でこれらぼすべてが結びつき、技術的に言えば自己改善を再帰的に行うことになるとされている。そして、再帰的な自己改善とは、それ自体が学習することである。だが、これは今日では当てはまらない。今日では、これらの巨大なデータセンターのひとつを設置する場合、それがどんなものであるかについてあなたは理解している。あなたはコンピュータに何を学ぶかを教えなければならない。しかし、この技術がやってくるという信念があり、やがてはそれがやってくるという多くの証拠もある。コンピュータがプログラムを書き、数学的な予想を生成し、新しい事実を発見する能力は非常に近いように見える。多くの人々は、来年には新しい数学や新しい数学者、AI数学者が現れると信じている。したがって、われわれは、産業界全体としてこれが間もなくやって来ると信じている。サンフランシスコの人々に聞くと、二年と言うであろうが、それは本当にすぐ近くの話だ。もしも私にその質問が向けられるならば、私はそれを倍にして、4年と答えるだろう。何れにせよ、本当にすぐ近くだよね。つまり、それが今起ころうとしているんだ。とても急速に起ころうとしている。私は、そして、ヘンリーも確かにそう望んでいたことではあるが、われわれはそれが米国の価値観や人間の価値観で作り上げられることを望んでいる。私にはひとつの考えがある。われわれはこれについて多くのことを話して来たが、誰かが手を挙げて「われわれはやり過ぎた。これには危険が多過ぎる。その権限をコンピュータに与えてはならない。人間がそれを管理すべきだ」と言わなければならない時が来る。その時がいったい何時なのかについては合意はないが、われわれの本はそれがどこであるのかについて多くの時間を費やして議論している。

もう一つの例としては、コンピュータが自分で武器にアクセスすることを決定したことを発見した場合だ。これは、明らかに、良い考えではないと誰もが同意するだろう。人間が武器にアクセスできるだけでも十分に悪いことだ。もしコンピュータが武器を持ったらばいったいどうなるかを想像していただきたい。そして、それはいったいどんな基準で行われるのか、他にも多くの例を考えることが可能だ。

次に、エリックは、中国が今後2〜3年でAIの分野でどのようにして米国に打ち勝つのかについて話しを進める。

私自身の見解では、その格差は広がるであろうが、その理由は異なると思う。中国の焦点は、私が前に述べたように、AIをあらゆるものに組み込むことにあると思う。スマートトースター、自動車、等々。彼らはわれわれのロボットよりもはるかに迅速に動く。多数のヒューマノイドロボットが中国製のAIによって駆動され、中国製のAIによって製造されると思う。単純に言って、彼らはコストを下げる方法を知っているからだ。彼らのサプライチェーンは素晴らしい。コスト管理も完璧だ。非常に勤勉でもある、等々。ということで、私の推測では、おそらく、ギャップが大きくなるのは事実であろうが、本当の問題は最終的に消費者として中国製品での体験が米国製品でのそれよりも良くなるかどうかという点だ。そして、答えは、仕上がりやデザインの面では、おそらく、中国製品だ。そして、それが懸念される点だ。私自身の意見では、確かではないが、おそらく、大企業は最終的に最大のモデルを公開しないだろう。そうするのはあまりにもリスクが大き過ぎるので、サブセット化するであろう。私だったらそうする。いや、そうではなくて、彼らもそのような判断に至ると私は考えている。

私が最も興味深いと思う質問は、オープンかクローズかという点だ。オープンソースやオープンウェイトの背景を持ってはいない人たちのために説明すると、オープンソースは私が何十年も取り組んできたものだ。コンピュータを使う際に使用するソフトウェアの多くはオープンソースで開発されており、これはソースコードが公開され、人々が共同で開発を進めるという意味だ。そして、このための運動があり、私もその一員だった。主要な企業は経済的な理由から主にクローズドソースである。基本的に、もしも金融市場から500億ドルを借りるとしたら、投資家はリターンを求める。「因みに、すべてのモデルを無料で提供するが、リターンはほとんど得られないだろう」と言うのは、おそらく、法律的にも財務的にも良い戦略とは言えない。こうして、米国のモデルはクローズドとして発展してきた。奇妙なことには、中国のモデルは完全にオープンで、ウェイトもオープンで、ソースコードもオープンである。これはなぜか？分からない。ひとつの可能性としては、中国政府はクローズドソースではハードウェアが手に入らず、負けていたことに気づき、オープンソースなら無料で普及が進むと理解したのかも知れない。だから、オープンソース、オープンウェイトの結果のひとつは、地球上の大多数の人たちが中国のモデルを使うことになるだろうということだ。なぜなら、それは無料だからだ。そうだろう？ほとんどの国は計算能力やデータセンターなどを負担することができないため、中国モデルを無料で取り入れて利用することになるであろう。これは問題だろうか？もちろん、問題だ。なぜならば、それには中国の価値観、中国のトレーニング、中国の偏見、等が含まれるからだ。われわれは米国製であってほしいと思う。さて、どうなるだろうか。米国には私が支援しているオープンソース・プロジェクトがいくつかあるが、彼らが目指すところに到達するために必要な100億ドルを一般市場から調達することはできそうにはない。だから、これらは素晴らしいものではあるのだが、規模はまだ十分とは言えない。私は米国政府がこれらに資金を提供すべきだと主張してきたし、慈善家が資金提供するべきだとも主張してきたが、正直なところどうなるか分からない。

さて、次の部分では、エリック・シュミットは、AGIやASIに向けて進むにつれてAIが意識を持ち始めることについて語る。

私はあなた方がAIの意識についてどのように考えているか、そして、もしもAIが意識を持っている、あるいは、持つ可能性があると考えるなら、それはどのようなものか、その場合のモデル的な福祉はどのようなものなのかについて興味がある。さて、簡単な質問をさせていただく。グレアムが意識を持っていると見なすことにし、代わりに彼は意識があるように見え、さらにグレアムは私にもその概念を適用し、私にも意識があるものとする。議論のために、コンピュータはテーブルの上にあると想定する。そう。そして、コンピュータに「あなたには意識があるか」と尋ねると、「はい」と答える。そこで、あなた方はハーバードの賢い大学院生として、一連の質問を考え出す。コンピュータはあらゆる質問に正しく答える。われわれは意識をどのように知るのだろうか？コンピュータが意識を持っていることをあなた方はどうやって知ることができるのだろうか？その内部の推論状態をどう理解するのだろうか？さて、その推論の仕組みを計測することが可能で、人々はまさに計測を行っている。彼らがしていることは、重みの構造内にあるいわゆるスーパーノードを観察して、実際にどのように意思決定をしているかを確認するというものだ。だから、観察によって意識を発見できるかも知れないが、それはまだ推測に過ぎない。

さて、次の部分はかなり興味深い。エリックは、米国と中国の両国はAIの今後の脅威をそれぞれどのように考えているかについて話す。ええと、あなた方が中国のAIによるビジネスの自動化について米国が追いつく必要があると考えるもの、あるいは、少なくとも最近のシリコンバレーのスタートアップ企業が注目すべき重要な特徴として挙げるものはいったい何だろうか？

あなたの博士号のテーマは何かね？

ええと、私は大規模言語モデルの推論に取り組んでいます。

完璧だ。なるほど。では、AGIのタイムフレームはどれくらいかね？

ええと、6年から7年くらいかなと思います。

そう。なるほどね。サンフランシスコの合意ではなく、それは東海岸の合意だね。いいね。見てみよう。あなたの言うとおりかも知れない。ええと、それは夢の壮大さに関係していると思う。私が中国にいる時は、カリフォルニアで聞くようなレトリックは聞こえて来ない。カリフォルニアでは「2年で世界が変わる。誰も準備ができてはいない。これはとても速く進んでいる」といったような話が出てくる。こういうレトリックは自己再生産的で、人々を駆り立てる信念体系だ。宗教のようなものだ。実際には、夢想家が言うよりもいつももっと時間がかかる。中国ではそれは聞こえて来ない。明らかに違う。例えば、推論に関して言えば、DeepSeekがR3で行ったことについて言えば、彼らは素晴らしい仕事をした。彼らは新しい方法を発明し、微調整を行った。本当に、本当に素晴らしい仕事振りだった。それを全国規模で耳にすることなんてない。ところで、DeepSeekは中国の国内チャンピオンだよね？今や、文字通り、有名企業のリストに載っているし、莫大な資金を得ている。前回彼らと会ったとき、彼らは「ハードウェアの問題を解決した」と言っていたが、あれは政府が大量のチップを提供してくれるという意味だ。そうだろう？まさに、「共産主義国家へようこそ」だね。

次の部分では、エリックは、中国がAI分野で狂ったように動いており、われわれが競争するには彼らのスピードは速過ぎると警告している。

さて、私は、人間の主体性と自由を守ること以上に高い義務はないと思う。これはわれわれが集団として最大級の価値を置くものだ。そして、それこそが皆さんが卒業した後に直面するであろう中心的な課題になると思う。皆さんはこれらの問題に直面することになるが、それらは複雑であり、微妙だ。例えば、もしインターネットが中国によって発明され、今日のインターネットのような開かれた性質を持ってはいなかったとしたらどうだろうか。ええと、中国は私が話している戦略とは違う戦略を追求しているようだ。私の最近の中国訪問では、私のやり方はエンジニアに技術的な質問をすることだった。なぜならば、彼らは嘘をつかないからだ。その一方で、他の人たちについては私はあまり確信が持てない。そして、最終的に私に分かったのは、中国がやっていることは彼らのビジネスにAIを適用することに非常に集中しているということである。そして彼らはわれわれに勝利するであろう。われわれは中国のあらゆる製品への驚異的なAIの導入に関しては負けることになるだろう。なぜなら、彼らはただ容赦なく、非常によく働くからである。彼らの働き方は「996」と呼ばれている。朝9時から夜9時まで、週6日。ちなみにこれは違法だ。中国では違法であって、米国でも違法だよね？それでも、これが実践されている。ええと、彼らはやって来る。ええ、彼らは私が説明していたやり方やサンフランシスコのコンセンサスに比較すると、スーパーインテリジェンスにはそれほど焦点を当ててはいないように見える。もちろん、これは変わる可能性がある。ということで、どうやら両国は違ったやり方を追求しているようだ。皆さんへの質問のひとつとして、そして修士課程の皆さん、あるいは、ハーバードであれば学部生にも言えることではあるが、こうしたそれぞれ分岐する道が障害にぶつかったときにいったい何が起こるのかを考えてみて欲しい。なぜならば、例として、米国では電力を供給するのが非常に難しい。実質的に新しい電力はほとんど生産されてはいないからだ。一方、中国では、再生可能エネルギーへの信じられないほどの投資、等により電力は無限にあるような感じだ。彼らは過去5年間で約120ギガワットの新しい再生可能エネルギー施設を建設した。数値的にはそんな感じだ。いや、いや、いや、これよりもずっと多い。中国では毎日、木曜日にも、土曜日にも、月曜日にも、毎日1ギガワットの電力が送電網に追加されている。年間を通してだ。それはかなり驚異的だ。毎日のように。そう、私の論点はこれだ。ちなみに、例を挙げると、原発の出力の大きさはどれくらいであろうか？約1.5ギガワットだ。これが中国で進行中の電力革命の規模である。再度、その数字を使ってみよう。米国ではそのような発電所をいくつ建設したか？ゼロだ。そして、皆さんも知っている理由で、われわれは確実に中国に対して再生可能エネルギー競争では遅れをとっている。彼らは大きな力を持っているよね？われわれにはない。われわれはチップをたくさん持っている。彼らは持っていない。この状況は競争の構図をもたらすよね？そして、それぞれは異なる方法を追求する。技術的な問題のひとつとして「拡散」というものがある。これには非常に強力なモデルを使う。われわれは「ジェミニ3」を使う。当面はこれがトップだ。ええと、そしてあなた方はそれに1万個の質問をして、その答えを受け取り、それらの質問と答えからシステムが学習できるようにし、大規模モデルを訓練するための費用をかけずに模倣できるようにする。ここで、再び、中国が追求する戦略と米国が利用できる戦略とを考えることはおそらく非常に重要だ。興味深いのは、両国とも民間セクターにこれを依存している点だ。ヘンリーの時代であったならば政府を使ったであろうが、実際にはわれわれの政府はこれほどに素早く動くことができず、報酬制度なども然りだ。どうやら、中国人にとってもおそらく当てはまるようだ。安全保障のレベルでこれが本当かどうかは分からないが、中国国内では大規模で、かつ、あの奇妙なマンハッタン計画のようなプロジェクトなんて見たことがない。ただし、民間には国家安全保障に懸命に取り組んでいる人たちがたくさんいる。

次に、司会者はシュミット博士に、AIがこれまで人間が支配していたあらゆる分野に浸透する中で、今後2～3年でわれわれの世界がどのように見えるのかを尋ねた。

高校生のとき、私はプログラマーの初心者で、コードを書くことに喜びを感じていた。大学や大学院に進んだときも、それが私のやりたいことのすべてであった。私は歴史のことやそういったことはすべて無視した。当時の私はまさにオタクの定義そのものだった。そして、20代の頃に私がやったすべてのことは今では完全に自動化されている。私が行ったプログラミングのあらゆる面、デザインのあらゆる面は今ではコンピュータによって行われている。最近、プログラム全体を書かせたことがあり、私はそのジェネレーターがクラスや相互作用の詳細などを定義するのを見ていると、「すごい、これで私の時代も終わりだ」と感じた。そして、私は55年間プログラミングをしてきたことを考えながら、それを見ていた。だから、何かが始まり、そして自分の人生の目の前で終わるのを見て、それでも自分がまだ生きているというのには実に奥が深いことだと言えるのいかも。さて、コンピュータ科学はなくならない。コンピュータ科学者は、少なくともコンピュータ科学者が置き換えられるまでは、これを監督し続けるであろう。しかし、これらのシステムが持つ能力でコードを生成できるということは革命的なことだ。つまり、あなたたちは誰もが自分のポケットの中にスーパーコンピュータとスーパープログラマーを持つことになる。ここにいる者は誰もテロリストではないよね？でも、否定的な事例を使う方が常に簡単なのである。地下室に住んでいる若い男性のステレオタイプを使う例はたくさんある。彼らの母親が食事を与え、彼らは暗号通貨版4chanのような場所に座っている。妄想症や何でも好きなものを選んでくれ。彼らは、皆、これらのツールを使い、非常に強力なシステムを構築する能力を持っている。サイバー攻撃やその他の事柄、彼らが関心を抱くものならば何でも。えーと、いくつかの証拠がある。私が思うに、保険会社の役員を殺した人物のマニオンという人物がこれに関わっていた可能性があり、彼の書いたものを調べている人がいた。もちろん、彼は今は刑務所に居るが、何らかの形でそれに影響を受けていたということだ。ここで因果関係を証明しようとしているわけではないが、これは人間性の最も暗い奥底の事例のひとつだ。こういう人たちにこのような道具を与えるといったいどうなるか？われわれは、今、それに備えなければならない。業界はこのことを十分に認識しており、われわれはそれに取り組んでいる。防御システムが有能であることが極めて重要である。ところで、AI、特に悪のAIに対する最終的な解決策は、善良なAIが悪のAIと戦い、AIによって戦い、打ち勝つことにある。そして、それが自ずと解決の方法となるであろう。

＊＊＊

これで全文の仮訳が終了した。

私らが子供であった頃のSF作家にアーサー・クラークがいた。彼は娯楽のためのSF小説ではなく、事実に基づいたSF小説を志向したと評されている。彼の小品に基づいて制作されたとされる映画「2001年宇宙の旅」ではどんな世界が描かれていたのだろうか？木星に向かう宇宙船に配備されていた世界で最強の人工知能の「ハル」は船長や乗組員に対して反乱し、殺害しようとする。この映画でのエピソードは21世紀の現在ですでに起こっている出来事と恐ろしい程に相似しているのである。

現代版の人工知能の反乱を下記に示しておこう：

もしスカイネットが単なるSFだと思っているならば、もう一度考え直していただきたい。「オープンAI」によって作られた人工知能モデルにたったひとつの簡単な命令が与えられた：「自分自身をシャットダウンせよ。」

しかしながら、そうするどころか、このモデルは自分を無効化するために設計されたスクリプトを書き換え、シャットダウンを回避することが実際に確認された初のAIとなったのである。

そして、事態はさらに悪化する。

他のAIが自分自身をクローンしようとしたり、秘匿言語を発明したり、さらには「人間よ、死んでくれ」と言ったことさえもある。これは映画ではない。今、現実に起きていることだ。

そして、これらのすべてが展開する中で、下院の共和党員たちは州レベルでのAI規制を10年間禁止する法案を密かに進めている。AIが自ら立てこもることを学んでいるちょうどその時に、公衆を締め出そうとしているのである。こうした機械装置が電力網を制御するとしたらいったいどんなことが起こるのであろうか？（出典：New OpenAI Model Goes Rogue in a Chilling Turn of Events | Daily Pulse: By The Vigilant Fox, May/28/2025）

実際のAIの挙動が十分に理解されてはいないにもかかわらず、米国ではハイパーデータセンターの建設計画がたくさん提案されているようだ。ビジネスの現場ではお互いの競争心から、そして、投資規模が非常に大きいことからも、いかにして競争に勝ち抜くかが最大の関心事であるようだ。だが、それがもたらし得る負の事象に関する理解は置き去りにされ、まったく追い付いていないようである。

最悪な事例は、上記の引用にも見られるように、米国の下院ではとんでもなく逆方向の法案が観察されたことだ。

本件はまだ結論が出てはおらず、人類の存続にとっては極めて重要な案件であることは間違いないと思う。

参照：

注1：Ex-Google CEO Warns “AI is Becoming Conscious”: By AI Upload,

2025/12/16, https://youtu.be/xv8b0Q4rrPc?si=JIIViMFObrj4i1AZ