第一,GLM-4 的后续升级版本即 GLM-4.5 及其升级模型,应当基于超级认知(Superintelligence)和超级对齐(Superalignment)技术。
GLM 大模型团队认为,文本是构建大模型最关键的基础,但下一步则应该把文本、图像、视频、音频等多种模态混合在一起训练,构建真正原生的多模态模型,同时超级对齐(Superalignment)技术将协助提升大模型的安全性。
第二,为解决更加复杂的问题,GLM 大模型团队提出 GLM-OS 概念,即以大模型为中心的通用计算系统。在 ICLR 现场,GLM 大模型团队详细阐述了 GLM-OS 的实现方式:基于已有 All-Tools 能力加上内存记忆(memory)和自我反馈(self-reflection) 机制,GLM-OS 有望实现模仿人类的 Plan-Do-Check-Act 循环。
首先做出计划,然后初步尝试形成反馈,基于反馈结果调整规划,然后再行动以期达到更好的效果。大模型依靠 PDCA 循环机制形成自我反馈和自我提升——恰如人类自己所做一样。
第三,GLM 大模型团队还在现场讲解了自 2019 年以来团队就一直在研究的名为 GLM-zero 的技术。GLM-zero 旨在研究人类的 " 无意识 " 学习机制。" 当人在睡觉的时候,大脑依然在无意识地学习。"GLM 大模型团队表示," 无意识 " 学习机制是人类认知能力的重要组成部分,包括自我学习(self-instruct)、自我反思(self-reflection)和自我批评(self-critics)。
人脑中存在着反馈 (feedback) 和决策 (decision-making) 两个系统,分别对应着大模型和内存记忆两大部分,GLM-zero 的相关研究将进一步拓展人类对意识、知识、学习行为的理解,换而言之,尽管还处于非常早期的研究阶段,但 GLM-zero 可以视为通向 AGI 的必经之路,这是 GLM 大模型团队第一次向外界公开这一技术趋势。
除了阐述 GLM 大模型面向 AGI 的三大技术趋势,GLM 大模型技术团队在 ICLR 主旨演讲中还回顾了国产自研大模型 ChatGLM 的演进之路,向现场近 2000 名与会嘉宾与学者介绍了 GLM 系列大模型多项前沿研究成果,涵盖数学、文生图、图像理解、视觉 UI 理解、Agent 智能体、涌现现象等领域。这是中国大模型团队首度登上 ICLR 主旨演讲环节。
ICLR 国际学习表征会议由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办,与 ICML、NeurIPS 并称为机器学习领域水平最高会议之一。5 月 7 日,ICLR 2024 在奥地利维也纳会展中心开幕,受新一波人工智能浪潮推动,本届 ICLR 在参展人数、展览规模、论文数量上均创新高。