誰かが通知するべき ゲイリー・マーカス e ルカン言語モデルはそれらが間違っていることを証明しました。それらを「次の単語を単に予測するもの」と表現する還元主義的な見方は、新たな科学的発見の重みで崩壊しつつある。それは人間を「単なる酸素の消費者」と定義するようなものです。
実のところ、これらのシステムは、単語を 1 つも生成する前に、各クエリに合わせてカスタマイズされた概念モデル全体を構築し、会話の暗黙のロジックをテストする特殊なサブネットワークの階層をアクティブ化します。これは確率的な予測ではなく、現実の予測です。 認知的緊急事態これは、私たちの頭の中の灰白質で起こっていることと非常によく似た現象です。
L '人工知能 言語パターンに体現された現代的表現は、しばしば肩をすくめて無視されます。「まあ、結局のところ、それは次の単語を予測しているだけだから」それはいつも私を苦笑いさせる単純化です。それはミケランジェロが「石の上に石を積み重ねただけ」だと言っているようなものです。こうしたシステムの計算の奥深くで起きる複雑性は、もっと尊重されるべきであり、とりわけもっと科学的な好奇心を抱くべきである。
からの研究者 人間原理 e OpenAI 最近、重要な事実を発見しました。彼らのモデルの神経構造の中には、人間の脳のいわゆる「おばあちゃんニューロン」のように動作する特殊なサブネットワークが存在するのです。これらは比喩ではなく、複雑な概念をテストするために特別にアクティブ化される実際の機能単位です。
モデルの進化：予測器から推論器へ
人工知能に対する批判が、言語モデルの時代遅れのイメージにとらわれたままになっていることに、私は笑ってしまいます。それは、Nokia 3310 を基準にして現代のスマートフォンを判断するようなものです。
最初の LLM（大規模言語モデル） 実際にはより限定的で、主に言語シーケンスの統計的予測に焦点を当てていました。これらのシステムは、いかに印象的ではあっても、論理的および概念的な弱点が明らかでした。しかし、最近のモデルは大きな進化を遂げており、次のように分類する方が正確である。 LRM (大規模推論モデル)。
違い？それは量的であるだけでなく質的でもある。 LRM は予測するだけではありません。それらは、抽象概念を操作し、論理的仮説をテストし、新しい推論を生成することを可能にする階層的な概念表現を構築します。彼らは長い一連の推論にわたって一貫性を維持し、矛盾を識別し、さらにはさまざまな結論の妥当性を評価することもできます。
まるで確率計算から 実際の思考シミュレーターに。 これらのシステムを「単なる統計的予測器」と批判し続ける人々は、本質的には過去からの亡霊と戦っており、第一世代と現在のモデルを隔てる進化の溝を無視している。
偶然の皮肉
私たちは取る 皮肉 たとえば、意図と結果の対立を理解することを含む微妙な概念です。それは単語の順序を予測するだけでは把握できるものではありません。より高度な処理が必要です。
Anthropic と OpenAI はどちらも、クエリの暗黙のロジックをテストするこれらのサブネットワークを「おばあちゃんニューロン」として発見しました。
最新の言語モデルの 1 つが、目覚まし時計を購入したのにまだ遅刻しているという皮肉を認識する場合、それは事前に定義されたスクリプトに従っていません。これは、オブジェクトの目的 (時間どおりに起動する) と得られた結果 (遅延) の間の矛盾を具体的に識別するニューラル ネットワークを活性化します。
このような微妙な論理矛盾を把握する能力は、単純な統計的予測からは生まれません。もっと深いところにある何かが作用しているのです。率直に言って、これは私たちが「理解」の定義に課してきた限界を再考させるものである。
言語モデルには新たな論理がある
繰り返しますが、言語モデルは、単純な確率的連結をはるかに超える精度の閾値に達しています。彼らは「なぜなら」「しかし」「にもかかわらず」といった言葉の論理的機能を理解し、それらを正しく使って新たな推論を構築します。
しかし、ここでしばしば無視される重要な点があります。それは、分析に一貫性を持たせたいのであれば、私たちの生物学的ニューロンでさえも「パターンの確率的予測子」に過ぎないということです。 違いは性質によるものではなく、組織と複雑さによるものです。 言語モデルを「後続の単語を予測するだけのもの」と批判すると、 機能上の類似性がますます明らかになっているにもかかわらず、私たちは人間の脳を説明するために決して使用しない基準を適用しているのです。
これらはトリックではなく、もはや統計的な近道ではありません。これらのシステム 彼らはトレーニングを通じて、入力のあらゆる側面を検査するためにニューラル ネットワークを自己組織化する能力を開発しました。 私たちの脳と同じように、単一のニューロンよりも高いレベルで特殊な構造が形成されます。
これは、はるかに複雑で興味深いプロセスの最後のステップにすぎません。次にこれらのシステムのいずれかを操作するときには、一見単純な答えの背後に、私たち自身の心の働き方にますます似てきた計算の宇宙全体が存在していることを思い出すかもしれません。
