随着我们越来越接近 2029 年,也就是 Ray Kurzweil 预测的 AGI 实现年份,硅谷及其他地区的许多高管和研究人员不再声称预训练扩展范式能带我们到达那里。
在最近的一次采访中,Google DeepMind 的 CEO Demis Hassabis 概述了他认为当前 AI 系统面临的核心挑战。Hassabis 认为,今天的模型缺乏“真正的开箱即用的发明和思考”,区分了解决现有数学问题和创建全新的猜想,例如黎曼猜想。
他还指出了一个关键的一致性问题:即使是普通用户也很容易发现理论上应该超越人类能力的系统中的缺陷。“在达到我认为的 AGI 之前,存在一种能力差距,也存在一种一致性差距,”他说。
ARC Prize 的联合创始人 François Chollet 已经确定了他认为当前模型中存在的根本性架构限制。在上个月的 AI Startup School 演讲中,Chollet 认为深度学习模型“缺乏组合泛化能力”,并且缺乏对学习的概念进行“即时重组”的能力。
他指出,即使在模型规模扩大了 50,000 倍之后,在流体智力(即时理解以前从未见过的事物的能力)任务上的表现几乎没有提高,从 0% 提高到大约 10% 的准确率。Chollet 认为,梯度下降需要“比人类需要的多三到四个数量级的数据”才能提炼出简单的抽象概念。
虽然当前的 LLMs 无疑将推动重大的经济和社会转型,但它们的认知局限性凸显了需要从根本上不同的方法来实现真正的 AGI。我们的首席 AGI 官 Alexey Potapov 博士认为,“LLMs 的局限性现在变得普遍清晰,与此同时也看到了它们令人印象深刻的优势”,但他认为解决方案在于将它们视为专门的组件,而不是中央控制器。
这种方法符合我们对人类认知的理解:大脑通过数百个不同的子网络运作,每个子网络执行特定的功能,同时与其他子网络合作。正如 Transformer 网络与任何特定的生物大脑网络都不密切对应一样,实现 AGI 的路径可能需要将 LLMs 视为众多组件之一,服从于执行控制系统,并与其他以不同原则运作的网络相结合。
这种多模块视角以及对人类认知心理学数十年的仔细研究,为我们对 OpenCog Hyperon 的研发提供了信息,OpenCog Hyperon 将像 LLMs 这样的深度神经网络、进化程序学习、概率编程和其他方法集成到一个通用架构中,以创建一个系统,正如我们的 CEO Ben Goertzel 博士所设想的那样,它可以处理现实世界的复杂性,并且“基于其自身的价值观和倾向,自主且创造性地发明、创造、构建和交流”。