À l'approche de 2029, l'année que Ray Kurzweil a prédite pour l'AGI, rares sont les dirigeants et les chercheurs de la Silicon Valley et d'ailleurs qui affirment encore que le paradigme de mise à l'échelle du pré-entraînement nous y mènera.

Lors d'une récente interview, Demis Hassabis, PDG de Google DeepMind, a exposé ce qu'il considère comme les principaux défis auxquels sont confrontés les systèmes d'IA actuels. Selon Hassabis, les modèles actuels manquent d'"une véritable invention et d'une pensée prêtes à l'emploi", faisant la distinction entre la résolution de problèmes mathématiques existants et la création de conjectures entièrement nouvelles, telles que l'hypothèse de Riemann.

Il a également souligné un problème de cohérence critique : même les utilisateurs moyens peuvent facilement identifier les défauts des systèmes qui devraient théoriquement dépasser les capacités humaines. "Il y a une sorte de fossé de capacités, et il y a un fossé de cohérence avant d'arriver à ce que je considérerais comme l'AGI", a-t-il déclaré.

François Chollet, cofondateur d'ARC Prize, a identifié ce qu'il considère comme des limitations architecturales fondamentales dans les modèles actuels. Lors de sa conférence le mois dernier à l'AI Startup School, Chollet a soutenu que les modèles d'apprentissage profond "manquent de généralisation compositionnelle" et n'ont pas la capacité d'effectuer une "recombinaison à la volée" des concepts appris.

Il a noté que même après une augmentation de 50 000x de la taille du modèle, les performances en matière d'intelligence fluide (la capacité de comprendre quelque chose que vous n'avez jamais vu auparavant à la volée) se sont à peine améliorées, passant de 0 % à environ 10 % de précision. Selon Chollet, la descente de gradient nécessite "trois à quatre ordres de grandeur de données de plus que ce dont les humains ont besoin" pour distiller des abstractions simples.

Bien que les LLM actuels entraînent sans aucun doute une transformation économique et sociale importante, leurs limitations cognitives soulignent la nécessité d'adopter des approches fondamentalement différentes pour parvenir à une véritable AGI. Notre Chief AGI Officer, le Dr. Alexey Potapov, soutient que "les limites des LLM deviennent maintenant généralement claires, parallèlement à leurs forces impressionnantes", mais pense que la solution consiste à les traiter comme des composants spécialisés plutôt que comme des contrôleurs centraux.

Cette approche s'aligne sur notre compréhension de la cognition humaine : le cerveau fonctionne à travers plusieurs centaines de sous-réseaux distincts, chacun remplissant des fonctions spécifiques tout en coopérant avec les autres. Tout comme les réseaux de transformateurs ne correspondent pas étroitement à un réseau cérébral biologique particulier, la voie vers l'AGI peut nécessiter de traiter les LLM comme un composant parmi d'autres, subordonné aux systèmes de contrôle exécutif et couplé à d'autres réseaux fonctionnant selon des principes différents.

Cette perspective multi-modulaire et des décennies d'étude approfondie de la psychologie cognitive humaine éclairent notre R&D sur OpenCog Hyperon, qui intègre des réseaux neuronaux profonds comme les LLM, l'apprentissage de programmes évolutifs, la programmation probabiliste et d'autres méthodes dans une architecture commune pour créer un système qui peut, comme l'envisage notre PDG, le Dr. Ben Goertzel, gérer la complexité du monde réel et "inventer, créer, construire et communiquer de manière autonome et créative, en fonction de ses propres valeurs et inclinations".