GPT-4 考过 MIT 造假，三位教授联名「甩锅」，猪队友作弊，抢发论文

6 月 15 日，Iddo Drori 在 arXiv 上发表了一篇论文，涉及麻省理工学院 (MIT) 数十门课程的考试和作业数据。

然而，他这样做并没有得到许多合著者的批准，尽管他被告知在出版前应该纠正一些问题。 我们中的一些人直到 6 月 18 日（星期日）周末旅行结束后才知道这篇论文已经发表。

在解决这个问题的过程中，我们发现，与 Iddo Drori 向我们和收集数据的学生传达的信息相反，Iddo 并未获得所有导师的许可来收集构成数据集的作业和考试问题的数据集。论文的主题。

当这篇论文出现在社交媒体上并且 Iddo 在未经任何人许可的情况下在网上发布了数据样本时，一些课程讲师了解到该数据集的存在以及他们的课程材料已被纳入其中。

这些都是正在通过机构渠道处理的严重问题，因此我们不会在公开场合轻率地声明这一点，但我们认为解释为什么这篇论文不应该发表而不得不撤回是很重要的。

我们已要求 Iddo 从 arXiv 撤回该论文，并直接联系 arXiv 解释情况。

我们想强调的是，所有学生作者都非常努力地完成这篇论文，如果数据是在征得同意的情况下收集的，这可能是一篇非常有趣且有价值的论文。 发表论文的许多问题并不是学生的错。

此外，GPT-4 并不获得 MIT 学位。

网友：这恐怕不是倾销

对于这一说法，LeCun转发并评论道：“感谢澄清。”

指出问题的人也将更新置顶。

不过，也有网友指出，这篇论文的问题不在于是否“同意”发表，而在于“方法”本身。

现在看来，这些作者希望他们的名字出现在一篇可能会疯传的论文上，但他们不想为出现的问题承担责任。

如果这篇论文没有被“造假”，那么就不会有这种所谓的“公开声明”——迫使部分作者与该论文割席。

显然，作为论文的共同作者，您必须对您签署的作品的质量负责。

也有网友表示：“这是我这辈子见过的最糟糕的替罪羊”。

有趣的是，除了论文“造假”被抓后仓促倾销之外——虽然是我签的，但这个问题与我无关。 此网前，在顶级会议IJCAI 2016上也出现过类似原理的场景——论文被接受后，人们被疯狂拉扯。

“作者X其实也参与了，只是我们没时间写。”

文章地址：2016/04/the---of--co.html

发送接受名单后的第二天，我们发现有人试图在他们接受的论文中添加更多合作者。

我知道有时候论文提交后可能会从同事那里得到非常重要的帮助，我们自己的研究小组偶尔也会这样做。 但是突然要求的论文竟然有50多篇，这就有点奇怪了。

更令人惊讶的是，他们中的许多人发现他们不仅有一个，而且有“多个”（有时多达四个）被遗忘的合作者。

显然，“成功父母多，失败父母少”在这里得到了充分的体现。

但是，我们每周都会在审核期间备份屏幕截图，因此我们知道所有论文的原始作者。 （这也是最终呈现在接收列表上的内容）。

GPT-4 突破 MIT 考试

GPT-4在MIT考试中的开题成网绩一经公布，就引起了广泛关注。

在同一项测试中，GPT-3.5 获得了三分之一，而 GPT-4 则赢得了全部。

这张图表成为了论文中最引人注目的部分。

6月15日，来自麻省理工学院、波士顿大学和康奈尔大学的研究团队发表了最新论文，展示了GPT-4在麻省理工学院考试中的能力。网

论文地址：pdf/2306.08997.pdf

在论文中，研究人员创建了包含 4,550 个问题和解决方案的数据集。

其中包括麻省理工学院数学系和 EECS 学生获得本科学位所需的课程习题集、期中考试和期末考试。

详情如下：

研究人员从数据集中随机生成了 228 个问题，没有参考现有的图像和解决方案。

然后，5 个最先进的语言模型模型一起参加了这次测试：GPT-4、GPT-3.5、-13B、LLaMA-30B 和 LLaMA-60B。

最终结果发现，调优后的GPT-4得分为100%。 原始版本的GPT-4，在没有任何调优的情况下，也取得了90%的成绩。

具体调参过程，如结果图所示，包括Few-shot+CoT+Self-+。

每增加一个调整步骤，GPT-4 的功能都会向前飞跃。

当时这项研究有争议的部分是让 GPT-4 自己评分。

研究团队在数据集上对 GPT-4 进行了微调，给定问题 Q、基准解 S 和 LLM 的答案 A，他们使用 GPT-4 对模型响应进行自动评分。

GPT-4给自己打了满分，确实值得商榷。

客座教授被指控“窃取”论文 Iddo Drori

Iddo Drori 是波士顿大学计算机科学实践副教授、麻省理工学院客座副教授以及哥伦比亚大学兼职副教授。

此前，他曾担任麻省理工学院 EECS 讲师、康奈尔大学运筹学和信息工程客座副教授、纽约大学数据科学中心、研究所和纽约大学的研究科学家和兼职教授。

他拥有博士学位。 获得计算机科学博士学位，并在斯坦福大学进行统计学博士后研究。 他还拥有组织行为和创业管理 MBA 学位，并拥有十年的行业研究和领导经验。

Iddo Drori 的主要研究领域是机器学习、人工智能和计算机视觉。 他发表了 70 篇论文，被引用超过 5200 次，并教授了 35 门计算机科学课程。

他是剑桥大学出版社出版的教科书《深度学习科学》的作者。 他在计算机视觉会议上赢得了多项比赛，并在机器学习会议上获得了多项最佳论文奖。

而就在刚刚，有网友敏锐地发现：“Iddo现在不仅在主页上删除了‘麻省理工客座教授’的头衔，而且他的客座职位似乎在这个月就要结束了。”

三位合著者 Solar-

Solar-是麻省理工学院电气工程和计算机科学（EECS）教授、计算机科学和人工智能实验室（CSAIL）副主任兼首席运营官。

他是 NSF 资助的项目“通过代码理解世界”的首席项目负责人，也是创建交互式演示的在线平台的创始人。

他的研究重点是程序综合。 这是一个令人兴奋的研究领域。 一方面，程序综合涉及使用自动推理和学习来帮助在编程过程中引入更多自动化。 另一方面，代码提供了独特的建模机制，因此程序综合可以在构建更具可预测性和鲁棒性的学习系统方面发挥重要作用。

托尼奥

托尼奥是麻省理工学院机械工程教授。 他的研究重点是太阳能光伏和技术经济分析，在许多公司的技术发展中发挥了重要作用，因此获得美国早期科学家和工程师总统奖（）、美国国家科学基金会职业奖（奖）和谷歌教师奖。

托尼奥是麻省理工学院可持续发展加速材料实验室的主任，负责领导可持续材料开发的研究工作。 他还是新加坡加速材料制造计划的创始董事。 此外，他还共同创办了初创公司和非营利性可持续能源系统中心。

托尼奥对教育表现出了极大的热情和才华。 作为麻省理工学院摩尔贝克杰出本科教学奖的获得者，他的教学影响超出了课堂，他的/光伏讲座系列的观看次数超过 179,000 次。 他最近还制作了一系列名为“加速材料制造”的视频，重点关注人工智能在材料研究中的应用。

尹金

Yoon Kim 是麻省理工学院 (EECS/CSAIL) 的助理教授。 他之前获得了博士学位。 哈佛大学计算机科学博士，他的导师是 Rush。

他的研究兴趣包括：大规模模型的高效训练和部署，了解大型语言模型的能力和局限性，用符号机制控制和增强神经网络，以及计算和人类语言处理之间的联系。

已经变质的研究

现在，GPT-4可以说已经被提升为LLM领域的新“标杆”。

一方面，这种趋势迫使研究人员将自己的工作与其进行比较，另一方面，它催生了大量仅用于跟进和炒作的研究。

不仅如此，GPT-4技术报告中首创的“黑匣子”方法也被其他人效仿。

在 的讨论中，一位用户表示，机器学习已经不再是一个科学领域，而变得像社会科学一样，建立在另一种不可证伪和不可重复的研究之上。

有媒体表示，这一事件无疑在人工智能领域开了一个不好的先例，让大家对研究的真实性产生质疑——网上有多少论文实际上是有问题的？

随着“基线”GPT-4开始介入论文写作阶段，论文质量预计将进一步下降。

参考：