A medida que nos acercamos a 2029, el año que Ray Kurzweil predijo para la AGI, no muchos ejecutivos e investigadores de Silicon Valley y otros lugares siguen afirmando que el paradigma de escalado de preentrenamiento nos llevará hasta allí.

Durante una entrevista reciente, Demis Hassabis, CEO de Google DeepMind, esbozó lo que considera los principales retos a los que se enfrentan los sistemas de IA actuales. Según Hassabis, los modelos actuales carecen de "verdadera invención y pensamiento originales", distinguiendo entre la resolución de problemas matemáticos existentes y la creación de conjeturas totalmente nuevas, como la hipótesis de Riemann.

También señaló un problema crítico de coherencia: incluso los usuarios medios pueden identificar fácilmente fallos en sistemas que, teóricamente, deberían superar la capacidad humana. "Existe una especie de brecha de capacidades, y existe una brecha de coherencia antes de llegar a lo que yo consideraría AGI", dijo.

François Chollet, cofundador de ARC Prize, ha identificado lo que cree que son limitaciones arquitectónicas fundamentales en los modelos actuales. Durante su charla el mes pasado en AI Startup School, Chollet argumentó que los modelos de aprendizaje profundo "carecen de generalización compositiva" y no tienen la capacidad de realizar "recombinación sobre la marcha" de conceptos aprendidos.

Señaló que, incluso después de un aumento de escala de 50.000 veces en el tamaño del modelo, el rendimiento en tareas de inteligencia fluida (la capacidad de entender algo que nunca se ha visto antes sobre la marcha) apenas mejoró, pasando del 0% a aproximadamente el 10% de precisión. Según Chollet, el descenso de gradiente requiere "entre tres y cuatro órdenes de magnitud más datos de los que necesitan los humanos" para destilar abstracciones simples.

Aunque los LLMs actuales impulsarán sin duda una importante transformación económica y social, sus limitaciones cognitivas ponen de manifiesto la necesidad de enfoques fundamentalmente diferentes para lograr una verdadera AGI. Nuestro Chief AGI Officer, el Dr. Alexey Potapov, argumenta que "las limitaciones de los LLMs son ahora generalmente claras, junto con sus impresionantes puntos fuertes", pero cree que la solución reside en tratarlos como componentes especializados en lugar de controladores centrales.

Este enfoque se alinea con nuestra comprensión de la cognición humana: el cerebro funciona a través de varios cientos de subredes distintas, cada una de las cuales realiza funciones específicas mientras coopera con las demás. Al igual que las redes de transformadores no se corresponden estrechamente con ninguna red cerebral biológica en particular, el camino hacia la AGI puede requerir tratar los LLMs como un componente entre muchos, subordinado a los sistemas de control ejecutivo y acoplado a otras redes que operan con principios diferentes.

Esta perspectiva multi-modular y décadas de cuidadoso estudio de la psicología cognitiva humana informan nuestra I+D sobre OpenCog Hyperon, que integra redes neuronales profundas como los LLMs, el aprendizaje de programas evolutivos, la programación probabilística y otros métodos en una arquitectura común para crear un sistema que pueda, como prevé nuestro CEO, el Dr. Ben Goertzel, manejar la complejidad del mundo real e "inventar y crear y construir y comunicar de forma autónoma y creativa, basándose en sus propios valores e inclinaciones".