Khi chúng ta đến gần năm 2029, năm mà Ray Kurzweil dự đoán về AGI, không còn nhiều giám đốc điều hành và nhà nghiên cứu trên khắp Thung lũng Silicon và hơn thế nữa vẫn tuyên bố rằng mô hình mở rộng quy mô tiền huấn luyện sẽ đưa chúng ta đến đó.

Trong một cuộc phỏng vấn gần đây, Demis Hassabis, CEO của Google DeepMind, đã vạch ra những gì ông coi là những thách thức cốt lõi mà các hệ thống AI hiện tại đang phải đối mặt. Theo Hassabis, các mô hình ngày nay thiếu "phát minh và tư duy thực sự vượt trội", phân biệt giữa việc giải quyết các bài toán toán học hiện có và tạo ra các giả thuyết hoàn toàn mới, chẳng hạn như giả thuyết Riemann.

Ông cũng chỉ ra một vấn đề nhất quán quan trọng: ngay cả những người dùng bình thường cũng có thể dễ dàng xác định những thiếu sót trong các hệ thống mà về mặt lý thuyết sẽ vượt qua khả năng của con người. Ông nói: "Có một loại khoảng cách về khả năng và có một khoảng cách về tính nhất quán trước khi chúng ta đạt được những gì tôi coi là AGI".

François Chollet, Đồng sáng lập của ARC Prize, đã xác định những gì ông tin là những hạn chế kiến trúc cơ bản trong các mô hình hiện tại. Trong buổi nói chuyện của mình vào tháng trước tại AI Startup School, Chollet lập luận rằng các mô hình deep learning "thiếu khái quát hóa thành phần" và thiếu khả năng thực hiện "tái tổ hợp nhanh" các khái niệm đã học.

Ông lưu ý rằng ngay cả sau khi tăng quy mô mô hình lên 50.000 lần, hiệu suất trên các tác vụ trí tuệ linh hoạt (khả năng hiểu một điều gì đó mà bạn chưa từng thấy trước đây một cách nhanh chóng) hầu như không được cải thiện, chỉ tăng từ 0% lên khoảng 10% độ chính xác. Theo Chollet, gradient descent đòi hỏi "lượng dữ liệu lớn hơn từ ba đến bốn bậc so với những gì con người cần" để chắt lọc các khái niệm trừu tượng đơn giản.

Mặc dù các LLM hiện tại chắc chắn sẽ thúc đẩy sự chuyển đổi kinh tế và xã hội đáng kể, nhưng những hạn chế về nhận thức của chúng làm nổi bật sự cần thiết của các phương pháp tiếp cận khác biệt về cơ bản để đạt được AGI thực sự. Giám đốc AGI của chúng tôi, Tiến sĩ Alexey Potapov, lập luận rằng "những hạn chế của LLM hiện đang trở nên rõ ràng, cùng với những điểm mạnh ấn tượng của chúng", nhưng tin rằng giải pháp nằm ở việc coi chúng như các thành phần chuyên biệt hơn là bộ điều khiển trung tâm.

Cách tiếp cận này phù hợp với sự hiểu biết của chúng tôi về nhận thức của con người: bộ não hoạt động thông qua hàng trăm mạng con riêng biệt, mỗi mạng thực hiện các chức năng cụ thể trong khi hợp tác với những mạng khác. Giống như các mạng transformer không tương ứng chặt chẽ với bất kỳ mạng não sinh học cụ thể nào, con đường dẫn đến AGI có thể đòi hỏi phải coi LLM là một thành phần trong số nhiều thành phần, phụ thuộc vào các hệ thống kiểm soát điều hành và kết hợp với các mạng khác hoạt động trên các nguyên tắc khác nhau.

Quan điểm đa mô-đun này và nhiều thập kỷ nghiên cứu cẩn thận về tâm lý học nhận thức của con người cung cấp thông tin cho R&D của chúng tôi về OpenCog Hyperon, tích hợp các mạng nơ-ron sâu như LLM, học lập trình tiến hóa, lập trình xác suất và các phương pháp khác vào một kiến trúc chung để tạo ra một hệ thống có thể, như CEO của chúng tôi, Tiến sĩ Ben Goertzel hình dung, xử lý sự phức tạp của thế giới thực và "phát minh và sáng tạo và xây dựng và giao tiếp một cách tự chủ và sáng tạo, dựa trên các giá trị và khuynh hướng của riêng nó."