生成 AI の出現にがっかりした人もいるかもしれませんが、そうではないことを知っておいてください。私たちはまだ何も見ていません。魔神がランプから出てきたので、中に戻るのは難しいでしょう。それどころか。競争はこれまで以上に熾烈を極めており、2 兆のパラメータを超える AI モデルの作成を目指して XNUMX つのプロジェクトが競い合っています。はい、正しく読みました。 兆.
2 兆のパラメータを持つ AI の巨人
2兆メートルのマイルストーンをめぐって競合するXNUMXつの主要プロジェクトは次のとおりです。 OpenAI, 人間原理, グーグル/ディープマインド, Meta、英国政府のプロジェクトであり、まだ極秘のプロジェクトです。そして、それは「命がけの」競争であり、追いつくためには経済的資源が必要です。多くの。ハードウェアを絶えず更新し（ますます貪欲な計算とエネルギーを必要とする）、何百人もの専門家を雇用し、億万長者の給与とストックオプションで最高のチームメンバーを維持するために、年間1億ドルから2億ドルが費やされます。
GPT-5: 王の帰還
世界の半分を奇襲した後、 グーグルにミサイルを発射した そしてMicrosoftから多額の資金を受け取ったOpenAIは、すでにパイプラインでKOシュートの可能性を秘めている。サム・アルトマンの会社の優位性を確実にする可能性のあるもの。 GPT-5は2023年末までに完成し、2024年初めにリリースされる予定で、パラメータ数は2兆から5兆個になる。
現時点では、その機能を想像することはできません。
Claude-Next: Anthropic とその野心的なプロジェクト
人間原理、元 OpenAI 従業員によって設立されたチームは、と呼ばれるモデルに取り組んでいます。 クロード・ネクスト現在の AI の 10 倍の能力を目指しています。 すでに 1 億ドルの資金が調達されており、5 億ドルが準備中の Anthropic は、今後 18 か月で目標を達成できると期待しています。
同社の主力モデルでは、数万の GPU のクラスターを使用して 10^25 FLOP が必要になります。 Anthropic の出資者の中には、複数のテーブルでプレーする Google も含まれます。
Gemini: Google は Deepmind との償還を求めています
Google と Deepmind は協力して、GPT-4 と呼ばれる競合製品を開発しています。 双子座. バードがディを示した後、プロジェクトは最近開始されました 競争に失敗する ChatGPTを使って。 Gemini は、GPT-4 や GPT-5 と同様に数兆個のパラメーターを備えた大規模な言語モデルとなり、トレーニングには数万個の Google AI TPU チップが使用されます。マルチモーダルになるかどうかはまだ不明です。
Deepmind は、Web ベースのチャットボットも開発しました。 スズメ、セキュリティ用に最適化され、ChatGPT に似ています。 DeepMind の研究者は、Sparrow の引用が役に立ち、78% の確率で正確であることを発見しました。 DeepMind のもう XNUMX つのトップ モデルは、 チンチラ、1,4 兆のパラメーターでトレーニングされました。
想像を絶する未来のパラメータ
2 兆のパラメータが何を意味するかを知りたい場合は、世界中で使用可能なテキスト データの総量の推定値が 4,6 兆から 17,2 兆のパラメータであることを知ってください。
すべての書籍、科学記事、ニュース、Wikipedia 全体、公開されているコード、およびインターネットの残りの部分のほとんどが、品質のためにフィルタリングされています。デジタル人間の知識。
より大きなモデルが登場すると、新しい機能が登場します。 今後 6 年間で、計算能力とアルゴリズムが改善され、モデルを XNUMX 倍、またはそれ以上にスケーリングできるようになります。
Nvidia の CEO は、AI モデルが ChatGPT よりも XNUMX 万倍強力であると予測しました。 10年以内に。
これらの人工知能が私たちに何をするか、地球に何をするか想像できますか? すぐに考えてください。 私たちは今ここにいます。
