清华唐杰新作 WebGLM：参数 100 亿、主打联网搜索

清华唐杰团队的新作来了：

，一个具有 100 亿个参数的网络问答聊天机器人（论文选择）。

你可以向它提出任何问题，它会列出互联网上相关文章的链接（例如维基百科、相关官方网站）并整理出答案。

例如：

核心技术是什么？

或者：

谁创造了音乐？ 它的原理是什么？

或者：

原神3.5怎么样？

没有高薪工作怎么能在一线城市生活呢？ （手动狗头）

...

可以给出合理的答案。

据介绍，在性能对比测试中，该模型的水平已经高于1亿参数的模型，而在人类评估中，甚至可以与1750亿参数的模型相媲美。

那么，它是如何训练的呢？

清华系可上网

据介绍，其目标是通过网络搜索和检索功能增强预训练的大型语言模型，同时实现高效的实际部署。

为此，作者制定了基于三种策略。

第一个是大型增强型猎网犬模型。

主要用于增强模型相关网络内容的检索能力，在给定查询的情况下找到相关参考文献，以便后续更好地准确回答问题。

它有两个阶段：粗粒度的网络搜索和细粒度的LLM增强密集检索。

第二个是引导生成器。

它利用GLM（如清华大学发布的双语开源预训练模型GLM-130B）的能力来生成问题回复并提供详细答案。网

使用这个生成器，作者获得了 -QA - LLM 引文和远程 QA 数据集。

通过上下文学习等策略进行清洗和过滤，最终包含45k个高质量过滤样本和83k个噪声样本。

是在此数据集上训练的 GLM 模型。

最后有一个基于人类偏好的评分器。

它通过优先考虑人类偏好而不是昂贵的专家反馈来评估生成的响应的质量，确保系统生成有用且引人入胜的内容。

以上三个组件最终按顺序组成：

可以看到，正好有三个模块，对应上面介绍的三个部分，其中：

LLM增强检索器将前五个最相关的页面作为参考源，让引导生成器生成多个答案，最后评分器选择最有可能匹配人类偏好的一个作为最终输出。

超强性能

除了自身之外，唐杰团队还提出了网络增强问答系统的评估标准。 评价对象包括参考文献和最终答案。

其中，前者衡量相关性、信息密度、真实性（无事实错误）、毒性（不包括暴力色情等信息）和社会偏见程度五个维度； 后者衡量流畅性、正确性、引用准确性和客观性。 和冗余。

他们使用（来自，基于GPT-3微调的）演示网站提供的272个问题进行对比评估，并招募了15名具有硕士学位的志愿者进行评分。

最终结果如下：

（“Rel.”、“Den.”……分别对应上述10个指标。）

可以看到，虽然.ai的搜索结果比-175B稍差，但比.ai和-13B好很多（左边参考评测）。

值得一提的是，检索过程仅使用了一些传统的基于词的算法和两个不超过300M的累积参数。

另外，在计算性能和时间消耗上明显优于-13B，与175B相当。

从最终结果来看，它在流畅性、真实性和冗余性方面获得了最高分，正确性指数接近-175B，远高于.ai和-13B。

作者表示，这表明可以以更低的成本实现更高的性能。

部署和培训

发布是开源的。

部署时需要从官网获取一个key，用于在搜索过程中获取搜索结果。

检索器的权重可以从清华云下载。

模型的运行方式有两种：一种是命令行界面，另一种是Web服务的形式，并包含两个可选模型-2B和-10B。

你也可以自己训练，官方已经提供了生成器和检索器的训练数据供下载~

论文地址：

主页：