腾讯首席科学家姚顺雨团队首篇论文揭秘：深度解析AI难以理解人类语言的核心原因

快科技2月4日消息，近日，腾讯混元团队与复旦大学联合团队共同发布了首篇论文《CL-bench》。

值得一提的是，这也是姚顺雨入职腾讯首席AI科学家后，首次署名的研究论文。

他在文中指出，当下AI和真正智能之间的差距，并非体现在知识储备的多寡上，而是取决于学习能力的强弱。

一个储备着海量知识却不懂得如何学习的AI，恰似一个熟记了整本字典却无法进行写作的人，表面上显得学识渊博，实际上思维模式却十分僵化。

人类并不只依赖多年前学到的死知识，而是在实时地从眼前的上下文中学习。

在这篇论文里，研究团队提到，大模型在上下文利用上，依然存在显著的能力短板。

为了评估现有模型与真正的“上下文学习者”之间仍存在多大差距，研究团队搭建了CL-bench。

这是一个专门评测语言模型能否从上下文中学习新知识并正确应用的基准。

CL-bench涵盖了500个由资深领域专家精心打造的复杂上下文、1899项任务以及31607条验证标准。

CL-bench仅提出了一个简洁却严格的标准：“要完成每个任务，模型必须从给定的上下文中掌握其预训练阶段未涉及的全新知识，并且能够对这些知识进行准确运用。”

实验结果显示，全球排名前十的语言模型在CL-bench上的任务平均解决率仅为17.2%。

这意味着即便当下最强大的语言模型，在上下文的运用上依旧表现欠佳，甚至可以说还不懂得如何利用上下文、从上下文里学习。

不过这也为大语言模型后续的迭代指明了一个潜在的方向，即增强模型从上下文中学习的能力。