À medida que nos aproximamos de 2029, o ano que Ray Kurzweil previu para a AGI, poucos executivos e pesquisadores em todo o Vale do Silício e além ainda afirmam que o paradigma de escalonamento de pré-treinamento nos levará até lá.

Durante uma entrevista recente, Demis Hassabis, CEO da Google DeepMind, descreveu o que ele vê como os principais desafios enfrentados pelos sistemas de IA atuais. De acordo com Hassabis, os modelos de hoje carecem de "verdadeira invenção e pensamento imediatos", distinguindo entre resolver problemas matemáticos existentes e criar conjecturas totalmente novas, como a hipótese de Riemann.

Ele também apontou para um problema crítico de consistência: mesmo usuários comuns podem identificar facilmente falhas em sistemas que, teoricamente, deveriam superar a capacidade humana. "Existe uma espécie de lacuna de capacidades e uma lacuna de consistência antes de chegarmos ao que eu consideraria AGI", disse ele.

François Chollet, cofundador do ARC Prize, identificou o que ele acredita serem limitações arquitetônicas fundamentais nos modelos atuais. Durante sua palestra no mês passado na AI Startup School, Chollet argumentou que os modelos de deep learning estão "perdendo a generalização composicional" e carecem da capacidade de realizar "recombinação imediata" de conceitos aprendidos.

Ele observou que, mesmo após um aumento de escala de 50.000x no tamanho do modelo, o desempenho em tarefas de inteligência fluida (a capacidade de entender algo que você nunca viu antes na hora) mal melhorou, passando de 0% para aproximadamente 10% de precisão. De acordo com Chollet, o gradiente descendente requer "três a quatro ordens de magnitude mais dados do que os humanos precisam" para destilar abstrações simples.

Embora os LLMs atuais, sem dúvida, impulsionem uma transformação econômica e social significativa, suas limitações cognitivas destacam a necessidade de abordagens fundamentalmente diferentes para alcançar a verdadeira AGI. Nosso Chief AGI Officer, Dr. Alexey Potapov, argumenta que "as limitações dos LLMs estão agora se tornando geralmente claras, juntamente com seus pontos fortes impressionantes", mas acredita que a solução está em tratá-los como componentes especializados, em vez de controladores centrais.

Essa abordagem se alinha com nossa compreensão da cognição humana: o cérebro funciona por meio de várias centenas de sub-redes distintas, cada uma desempenhando funções específicas enquanto coopera com as outras. Assim como as redes transformer não correspondem de perto a nenhuma rede cerebral biológica específica, o caminho para a AGI pode exigir o tratamento dos LLMs como um componente entre muitos, subordinado aos sistemas de controle executivo e acoplado a outras redes que operam em princípios diferentes.

Essa perspectiva multi-modular e décadas de estudo cuidadoso da psicologia cognitiva humana informam nossa P&D no OpenCog Hyperon, que integra redes neurais profundas como LLMs, aprendizado de programa evolutivo, programação probabilística e outros métodos em uma arquitetura comum para criar um sistema que possa, como nosso CEO, Dr. Ben Goertzel, prevê, lidar com a complexidade do mundo real e "inventar e criar e construir e comunicar de forma autônoma e criativa, com base em seus próprios valores e inclinações".