语言AI原来知道自己的回答是否正确！伯克利等高校新研究火了( 二 )

文章图片
在训练初期，研究团队比较倾向于自然语言训练方式，但结果并不显著，由此转向价值导向方式，不过研究团队同时表示，最终对AI模型的训练还将回归自然语言方法。
在经过训练之后，研究团队发现，语言AI模型可以很好的预测P(IK) ，并且在不同类型的问题中，这种预测能力具有部分通用性。
不过，研究团队也发现，在某些类型的问题，比如算术问题，语言AI模型在OOD校准时有一些困难。
对于这一学术成果，研究团队表示，将来的方向，是将这些成果，推广到语言AI模型不模仿人类文本的前提下，自我学习和事实推理领域。
作者介绍
文章图片
论文通讯作者JaredKaplan博士，是一位理论物理学家，同时也是一位机器学习专家，现担任霍普金斯大学助理教授，主要研究领域，机器学习研究，包括神经模型的缩放规律以及GPT-3语言模型。

文章图片
共同通讯作者SauravKadavath ， Anthropic公司研究员，现在加州大学伯克利分校EECS专业攻读硕士学位，主要研究领域是机器学习，大规模语言学习等。
参考链接：
https://arxiv.org/abs/2207.05221
—完—
【语言AI原来知道自己的回答是否正确！伯克利等高校新研究火了】量子位QbitAI·头条号签约