2029年、Ray KurzweilがAGIを予測した年に近づくにつれ、シリコンバレー内外のエグゼクティブや研究者の多くは、事前学習のスケーリングパラダイムが私たちをそこに導くと主張しなくなりました。

最近のインタビューで、Google DeepMindのCEOであるDemis Hassabisは、現在のAIシステムが直面している主要な課題について概説しました。Hassabisによれば、今日のモデルは「真の既成概念にとらわれない発明と思考」を欠いており、既存の数学的問題を解決することと、リーマン予想のような全く新しい推測を生み出すことを区別しています。

彼はまた、重大な一貫性の問題も指摘しました。平均的なユーザーでさえ、理論的には人間の能力を超えるはずのシステムに欠陥を簡単に見つけることができます。「ある種の能力のギャップがあり、私がAGIと考えるものに到達する前に一貫性のギャップがあります」と彼は言いました。

ARC Prizeの共同創設者であるFrançois Cholletは、現在のモデルにおける根本的なアーキテクチャの限界を特定しました。先月のAI Startup Schoolでの講演で、Cholletは、深層学習モデルは「構成的な一般化を欠いており」、学習した概念の「オンザフライでの再結合」を実行する能力がないと主張しました。

彼は、モデルサイズが50000倍にスケールアップした後でも、流動性知能（その場で初めて見るものを理解する能力）タスクのパフォーマンスはほとんど向上せず、0％から約10％の精度に移行しただけであると指摘しました。Cholletによれば、勾配降下法では、単純な抽象概念を抽出するために「人間が必要とするよりも3〜4桁多いデータ」が必要です。

現在のLLMは間違いなく大きな経済的および社会的変革を推進しますが、その認知的な限界は、真のAGIを達成するために根本的に異なるアプローチが必要であることを強調しています。当社のチーフAGIオフィサーであるDr. Alexey Potapovは、「LLMの限界は、その印象的な強みとともに、一般的に明らかになりつつある」と主張していますが、その解決策は、LLMを中央コントローラーとしてではなく、特殊なコンポーネントとして扱うことにあると考えています。

このアプローチは、人間の認知に関する私たちの理解と一致しています。脳は数百の異なるサブネットワークを通じて機能し、それぞれが特定の機能を実行しながら、他のネットワークと協力しています。Transformerネットワークが特定の生物学的脳ネットワークに密接に対応していないのと同様に、AGIへの道は、LLMを多くのコンポーネントの1つとして扱い、実行制御システムに従属させ、異なる原理で動作する他のネットワークと組み合わせる必要があるかもしれません。

このマルチモジュールな視点と、人間の認知心理学に関する数十年にわたる注意深い研究が、OpenCog Hyperonの研究開発に役立っています。OpenCog Hyperonは、LLMのような深層ニューラルネットワーク、進化的プログラム学習、確率的プログラミング、その他の手法を共通のアーキテクチャに統合し、当社のCEOであるDr. Ben Goertzelが構想するように、現実世界の複雑さを処理し、「独自の価値観と傾向に基づいて、自律的かつ創造的に発明、創造、構築、コミュニケーションできる」システムを作成します。[SingularityNETブログ]