По мере приближения к 2029 году, году, который Рэй Курцвейл предсказал для AGI, не многие руководители и исследователи в Кремниевой долине и за ее пределами все еще утверждают, что парадигма масштабирования предварительного обучения приведет нас к этой цели.
Во время недавнего интервью Демис Хассабис, генеральный директор Google DeepMind, обрисовал в общих чертах основные проблемы, с которыми сталкиваются современные системы ИИ. По словам Хассабиса, современным моделям не хватает "истинного изобретения и мышления с нуля", проводя различие между решением существующих математических задач и созданием совершенно новых гипотез, таких как гипотеза Римана.
Он также указал на критическую проблему согласованности: даже обычные пользователи могут легко выявить недостатки в системах, которые теоретически должны превосходить человеческие возможности. "Существует своего рода разрыв в возможностях, и существует разрыв в согласованности, прежде чем мы придем к тому, что я бы назвал AGI", - сказал он.
Франсуа Шолле, соучредитель ARC Prize, определил то, что, по его мнению, является фундаментальными архитектурными ограничениями современных моделей. Во время своего выступления в прошлом месяце в AI Startup School Шолле утверждал, что моделям глубокого обучения "не хватает композиционной генерализации" и способности выполнять "рекомбинацию на лету" усвоенных концепций.
Он отметил, что даже после 50 000-кратного увеличения размера модели производительность в задачах на подвижный интеллект (способность понимать что-то, чего вы никогда раньше не видели на лету) едва улучшилась, переместившись с 0% примерно до 10% точности. По словам Шолле, градиентному спуску требуется "на три-четыре порядка больше данных, чем нужно людям", чтобы выделить простые абстракции.
Хотя современные LLM, несомненно, приведут к значительным экономическим и социальным преобразованиям, их когнитивные ограничения подчеркивают необходимость принципиально иных подходов для достижения истинного AGI. Наш главный специалист по AGI, доктор Алексей Потапов, утверждает, что "ограничения LLM сейчас становятся общеизвестными, наряду с их впечатляющими сильными сторонами", но считает, что решение заключается в том, чтобы рассматривать их как специализированные компоненты, а не как центральные контроллеры.
Этот подход согласуется с нашим пониманием человеческого познания: мозг функционирует через несколько сотен различных подсетей, каждая из которых выполняет определенные функции, сотрудничая с другими. Подобно тому, как трансформаторные сети не соответствуют какой-либо конкретной биологической мозговой сети, путь к AGI может потребовать рассмотрения LLM как одного компонента среди многих, подчиненного системам исполнительного контроля и соединенного с другими сетями, работающими по другим принципам.
Эта мультимодульная перспектива и десятилетия тщательного изучения когнитивной психологии человека лежат в основе наших исследований и разработок OpenCog Hyperon, который объединяет глубокие нейронные сети, такие как LLM, эволюционное программирование, вероятностное программирование и другие методы в общую архитектуру для создания системы, которая может, как это видит наш генеральный директор, доктор Бен Герцель, справляться со сложностью реального мира и "изобретать, создавать, строить и общаться автономно и творчески, основываясь на своих собственных ценностях и наклонностях".