GPT-4 突然降智：爆料 OpenAI 重新设计构架，用 MOE 降本增效

最近，很多用户反映GPT-4变得愚蠢了！

人们普遍认为，GPT-4从5月份开始生成内容速度更快，但内容质量下降严重。

论坛中甚至有用户发布了自己生成的内容，表示与2个月前的相同生成内容相比，GPT-4的能力最多只能称为GPT-3.6。

他们都对每月支付的20美元表示心疼。

但看完这么多GPT-4重度用户的抱怨，小编突然开始感叹：

GPT-4确实遥遥领先。

已经达到领先地位，其他厂商的大型号都在加班几天发布更新版本，希望能尽快赶上。

他自己家境不错，悄然“降本增效”、“逆向升级”，成为大模圈的“反内卷标兵”。

性能下降的可能原因

对于GPT-4的性能下降，用户似乎已经达成共识，纷纷开始讨论GPT-4“衰落”的原因。

据外媒报道，一些语言模型领域的专家推测，正在创建多个行为类似于大型模型但运行成本更低的小型 GPT-4 模型。

据一位名叫周的专家介绍，GPT-4使用了一个名为“混合专家模型”（教育部）的框架。

每个较小的专家模型都针对不同的任务和主题领域进行训练。

可能有一个用于生物学的迷你 GPT-4 模型，或用于物理、化学等的其他迷你模型。

当GPT-4用户提出问题时，新系统会在判断后向一个或多个专家模型发送提示。

“这个想法已经存在了一段时间，这是一个自然的发展方向，”周说。

周把这种情况比作一艘“忒修斯之船”，各个部件逐渐被更换，整艘船慢慢变成了一艘新船。

“它将 GPT-4 变成一支由小型船只组成的舰队，”她说。

在我看来，这是一个新的网模式，但也许很多人不会关心这个变化。 ”

本周大量有关GPT-4的参数细节在网络上被泄露后，不少大佬也对其中提到的MoE部分给出了自己的评论。

艾伦人工智能研究所创始首席执行官奥伦在接受外媒采访时写道：“我认为这些猜测总体上是准确的，尽管没有办法证实。”

他解释说，使用 MOE 有两个主要原因：生成更好的响应以及更便宜、更快的响应。

补充道：“混合专家模型的正确组合将保证两全其美，但就像任何事情一样，通常需要在成本和质量之间进行权衡。”

如果这个假设成立，那么在降低成本的过程中确实可网能会牺牲一些质量。

另一个证明是，创始人Greg在联合研究中曾提到过MOE的技术路径。

“通过混合专家模型 (MoE) 方法，一次仅使用网络的一小部分来计算任何一个输入的输出。这允许添加更多参数，而不会增加计算成本。” 和他的同事翁在论文中写道。

性能缓慢可能与删除有害内容有关

除了老板从技术层面分析之外，网友们也​​从各个角度进行猜测。

有网友认为，相对保守的道德政策可能会降低模型反应的质量。

在官方论坛的GPT相关分论坛中，在那些认为性能被“降级”的人中，不少人提到，在采用新的内容限制之前，GPT的包容性已经发生了很大的变化。

一方支持认为出于安全原因可以控制模型的输出能力和范围的观点。

在讨论中，有网友指出，自从宣布关注安全问题以来，模型的性能变得越来越差。

以 GPT-4 初始发布报告中 GPT-4 使用 TikZ 绘制独角兽的任务（TikZ 可能是 LaTex 中创建图形元素最复杂、最强大的工具）为例。 在 GPT-4 中很难重现报告的结果，并且性能越来越差。

另一方面，网友认为，GPT-4性能下降的原因可能是人类出于安全考虑向GPT-4灌输了一套相互矛盾的信念。

而这种为了安全而消除“不好的想法”的做法，显然会阻碍GPT-4对事物有更深入的认识和认识。

事实上，设置了各种过滤器来防止暴力、种族主义或仇恨言论等恶意行为。

然而，这些过滤器常常会干扰网正常的使用，例如写小说、集思广益和其他形式的创造力。

虽然很难衡量这些变化的影响，但创始人 Sam 承认政策限制可能会干扰用户体验。

此外，在联合创始人 Raza 与 Sam 5 月 29 日的对话中，提到目前受到 GPU 数量的严重限制。

当用户突破1亿大关、月活跃用户达到18亿时，公司的服务器经常出现超负荷的情况。

计算能力的短缺不仅耽误了他们的许多短期计划，还引起了客户对GPT答复内容可靠性的许多投诉和争议。

或许原因就在于这届网友？

在官方技术发言人Logan.GPT的回应中，表明API模式下GPT-4的质量并没有下降。

就在昨天，产品副总裁 Peter 对此谣言发表了评论。

“不，我们并没有让 GPT-4 变得愚蠢，恰恰相反：我们让每个新版本都比前一个版本更聪明。”

对于网友提出的问题，他的理解是，“当你使用多了，你就会开始注意到以前没有注意到的问题。”

言下之意就是GPT-4已经没有以前那么强大了，而现在GPT-4才是它真正的实力。

有一丝凡尔赛宫的感觉。

果不其然，网友们并不怎么买账，一直在回复推文。

你说没改过，然后又说每个版本都更好，这不是矛盾吗？

你说的假设不成立，同一个提示词7月份的答案比6月份的还差！

不过，对于GPT-4的性能下降，确实有网友有不同的解释：

从知觉退化的心理学角度来看，当GPT-4最初暴露给人们带来的惊喜消失，并逐渐渗透到我们的日常生活中后，人们就会习惯它的能力。

一旦新鲜感过去，用户对其的容忍度也会降低，他们会更加关注技术和使用上的缺陷。

此外，网上发帖称GPT-4性能下降的网友在最近的更新中表示，当天的提问可能是受到了他们心态的影响，因为从那以后GPT-4一直运行顺利。

参考：

广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。