AI考高数，“卷死”了一大帮计算机博士( 三 )

文章图片
在机器学习方面，它通过解释“分布外样本检测”的具体含义，从而正确了给出这个名词的另一种说法。

文章图片
……
不过， Minerva有时也会犯一些低级错误，比如把等式两边的√给消了。

文章图片
除此之外， Minerva会出现的推理过程错误但结果对的“假阳性”情况，比如下面这种，有8%的可能性。

文章图片
经过分析之后，团队发现主要的错误形式来自计算错误和推理错误，只有小部分来自题意理解错误和在步骤中使用了错误的事实等其他情况。
其中计算错误可以轻易通过访问外部计算器或Python解释器解决，但其他种类的错误因为神经网络规模太大就不太好调整了。

文章图片
总的来看， Minerva的表现让很多人感到惊艳，纷纷在评论区求API（可惜谷歌目前并没有公开计划）。

文章图片
有的网友想到，加上前几日让GPT-3解题正确率暴涨61%的“哄一哄”大法，它的准确率或许还可以再提高？

文章图片
不过作者的回应是，哄一哄方法属于零样本学习，再强恐怕也比不上带4个例子的少样本学习。

文章图片
还有网友提出，既然它可以做题，那么能不能反过来出题？

文章图片
事实上用AI给大学生出题这件事， MIT已经联合OpenAI在做了。
他们把人类出的题和AI出的题混在一起，找学生来做问卷调查，大家也很难分清一道题是不是AI出的。

文章图片
总之现在的情况，除了搞AI的在忙着读这篇论文以外。
学生们盼着有一天能用AI做作业。

文章图片
老师们也盼着有一天能用AI出卷子。

文章图片
论文地址：
https://storage.googleapis.com/minerva-paper/minerva_paper.pdf
Demo地址：
https://minerva-demo.github.io/
相关论文：
ChainofThought
https://arxiv.org/abs/2201.11903
Scrathpads
https://arxiv.org/abs/2112.00114
MajorityVoting
https://arxiv.org/abs/2203.11171
参考链接：
https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html
https://twitter.com/bneyshabur/status/1542563148334596098
【AI考高数，“卷死”了一大帮计算机博士】https://twitter.com/alewkowycz/status/1542559176483823622