LLM、行き止まり: ChatGPT などが AGI に到達できない理由

初めにあった GPT-3、175 億のパラメータを備えています。それから彼らはやって来ました PaLM、メガトロン・チューリング、 チンチラ 等々, そしてパラメータは 1000 億のしきい値を突破しました。これらは LLM (Large Language Model) であり、人間の言語を模倣するために膨大な量のテキストでトレーニングされたモデルです。そして彼らは、人工知能への競争の紛れもない主役となっています。しかし、問題があります。

これらのモデルが大きくなり、より洗練されると、より多くのエネルギーを消費します。そして、彼らが達成する改善は、コストのような指数関数的増加ではなく、直線的な増加のみをたどるようです。それはおそらく、誰もが切望する AGI を達成するために、汎用人工知能が開発されるという合図です。 人間と同じように（またはそれ以上に）考えることができる パラダイムシフトが必要です。答えはビッグデータだけではなく、より効率的で「合理的な」アーキテクチャーにあるということです。

LLM のパラドックス

はっきりさせておきますが、大規模言語モデルは人間の驚異的な創意工夫です。 彼らは言語の繊細さを信じられないほどの熟練度でマスターすることを学びました。彼らは記事を書いたり、質問に答えたり、複雑な概念を要約したり、数十の言語間で翻訳したりすることができ、今ではコードを生成する方法さえ知っています。誇張ではなく、彼らは歌詞の深い意味を理解し、世界をほぼ人間的に理解しているように見えることがあります。

すでに。ほとんど。

しかし、私たちが彼らにストレスを与えればかけるほど、彼らの限界が明らかになります。彼らはパターンを認識してスタイルを模倣するのは得意ですが、独立して考えるのが苦手です。彼らの言語パフォーマンスの輝かしい表面の背後には、彼らが訓練されたデータから切り離された本当の知性、推論、問題解決能力はありません。何もない。

火花はそこにはなかった

しかし、それは費用対効果だけの問題ではありません。 LLM を悩ませている深刻な問題があり、それが汎用人工知能の基礎になるという彼らの野望を台無しにしています。そしてそれは、抽象的な推論、表面的な類推を超えた真の「思考」の欠如です。

研究者の中には、十分に大きなパラメータとデータセットが達成されれば、この種の機能が LLM から自発的に「現れる」ことを期待する人もいました。そのアイデアは、より多くの情報と計算能力をモデルに投入すればするほど、モデルは独自の知能を開発し始め、人間の言語だけでなく、根底にある認知プロセスもエミュレートし始めるというものでした。

しかし今のところ、この「緊急事態」の兆候は見られない。 最も高度な LLM であっても、論理的推論、計画、独創的な創造性を必要とするタスクに直面すると、無意味な推測や幻覚に迷い込んでしまいます。インテリジェンス、本当のインテリジェンスは、単に怪物のように野蛮な統計の問題ではなく、さまざまなアーキテクチャと学習プロセスを必要とするようですが、その多くはまだ解明されていません。

一般人工知能の新たな道

LLM によって示された困難は、多くの研究者が AGI の最終目標に到達するための代替方法を模索しているという事実の根拠となっています。そのうちの 1 つは、 圏論、代数構造間の関係を研究する抽象数学の一分野。一部のスタートアップでは、 シンボリック、単語間の統計的な関連性だけでなく、世界の象徴的表現を開発できる人工知能システムを構築するための理論的枠組みを提供できると信じています。

もう一つの有望な傾向は、 「目的志向型」AIつまり、複雑な 3 次元環境で特定の目的を達成するように設計されており、物理的および言語的な方法でオブジェクトやエージェントと対話します。知性は真空の中で生まれるのではなく、真空の中で発達するという考えです。 具現化、子供たちに起こるのとまったく同じように、世界で具現化されたアクション。驚くことではないが、次のように推定されている 4 歳児は、環境の多感覚探索を通じて、現在の最大の LLM の約 50 倍のデータをすでに処理しています。

これらは、LLM の限界を克服し、AGI に実際に近づくことを目的として、人工知能の分野で切り開かれている新しいフロンティアのうちの 2 つにすぎません。フロンティアでは、技術の進歩だけでなく、何よりも、知能とは何か、そして人工システムの中で知能がどのように現れるのかについての深い再考が必要です。

LLM、（人工）知能はもうここには住んでいません

本題に入ります。 何十年もの間、人工知能は、思考とは本質的に構文規則に従って抽象記号の文字列を処理することであるという考えに基づいて、純粋な記号操作のパラダイムに「閉じ込め」られてきました。これはエキスパート システムとセマンティック検索エンジンを生み出したパラダイムであり、データセットとニューラル アーキテクチャによって強化されているとはいえ、最終的には現在の LLM の基礎となっています。

しかしおそらく、AGI に対する本当のボトルネックを表しているのは、まさにこの「肉体を持たない」還元主義的なパラダイムなのかもしれません。 おそらく、知能はコンピュータ上で実行される単なるアルゴリズムではなく、環境と動的に相互作用して環境を修正し、認識、行動、学習の継続的なサイクルの中で自身の修正を可能にする複雑なシステムの新たな特性であると考えられます。

これは、LLM が役に立たない、または捨てるべきだという意味ではありません

それどころか、それらは AI の進化における重要な段階を表しており、まだ研究すべき実用的な応用が数多く残っています。しかしおそらく、多くの人が表明してきた救世主的な期待を縮小し、汎用人工知能の候補としての本質的な限界を認識する時期が来たのかもしれない。

もしそれが実現するとしたら、AGIはおそらく1000の言語をしゃべる肉体を持たない超頭脳ではなく、私たち人間と同じように、世界から学び、世界を変革する統合された肉体化されたエージェントとなるだろう。そしてそこに到達するには、より多くのエネルギーが必要なだけでなく、何よりもより多くの想像力が必要になります。

可能性のフロンティア

重要なのはAGIに到達することでさえないと思います。重要なのは、今日の人間と明日の人工知能ができることのフロンティアを継続的に拡大することです。それは、考えられること、可能なことの限界を押し広げることを意味します。 ハイブリッドコラボレーション 私たちの生物学的な心と合成的な心の間。

結局のところ、これは、最初のシンボルを石に彫ったり、コンピューターの最初のキーを押したりして以来、私たちが常に行ってきたことです。 テクノロジーを活用する 私たちの知性を強化し、認知能力と創造能力を倍増させ、ますます膨大で複雑になる問題に取り組むために。

LLM は、あらゆる制限はあるものの、この道を一歩前進するものです。これらは、言語がいかに柔軟で強力であり、それ自体がテクノロジーであり、私たちの生活のあらゆる側面に浸透しているかを示しています。そして彼らは、新しいもの、新しい思考の文法を発明し、表現できないものを表現し、想像できないものを想像するよう私たちに要求します。

本当の目標は、私たちに代わる人工知能を作り出すことではなく、人工知能と共生して進化し、私たちがまだ思いつく方法さえ知らない形の知能を引き出すことです。

LLM とインテリジェンスの未来

LLM は今後も存在します。交通機関の世界における自転車と同様に、これらは私たちに大きな貢献をする運命にありますが、さらに多くのことが必要になるでしょう。

おそらく、知性の未来は技術的な特異点ではなく、人間と非人間、生物学的と合成の複数の相互接続された知性です。現在の思考の限界を超え、意味と可能性の新たな境地へと私たちを導く認知的多様性の爆発。

しかし、そこに到達するには、まず私たちを今も囚われている先入観や狭い視野から解放する必要があります。私たちは、私たちの知性の外面的な現れを、その深遠な本質を把握することなく、不器用かつ部分的な方法で再現する計算上の錯覚を追うのをやめなければなりません。

私たちは、絶え間なく変化する宇宙において知的であることが何を意味するかを根本的に再考する勇気を持たなければなりません。そして私たちは好奇心、寛容さ、熱意を持ってそれを行わなければなりません。という知識を持った上で、 インテリジェンスは発見されるべきアルゴリズムではなく、来る日も来る日もエラーに次ぐエラー、直感に次ぐ直感によって作成され、拡張されるプロセスです。

AGI への道、あるいは将来のインテリジェンスがどのようなものになるかは、LLM (のみ) を通過するわけではありません。それは、私たちが想像できるであろう予期せぬつながり、私たちが住むことができる未踏の空間、私たちが尋ねることができる生意気な質問を通過します。

それは、私たちが驚き、夢を見、間違いを犯し、学び、自分自身と私たちの周りの世界を解体し再構築する能力を通過します。なぜなら、知性とは、常にもう少し遠く、少し高く、少し深く冒険する勇気にほかならないからです。突破すべき次の限界、探索すべき次のフロンティアに向けて。私たちを待っている未知の世界に向けて、おそらく AI のおかげで、私たちはもう怖がることはなくなるでしょう。