微软打造 13 亿参数小型 LLM AI 模型

35小吃技术网推荐阅读 2023年09月25日23时14分49秒 172 0

IT之家6月27日消息，AI模型盲栈量其实并不一定越好，更多取决于训练数据的质量，微软最近发布了一个拥有13亿个参数的语言模型phi-1，用它来训练“教科书级别”的高质量数据集，据称“实际效果优于1000亿参数的GPT 3.5”。

▲ 图片来源Arxiv

IT之家注意到，该模型基于架构，微软团队使用了来自互联网的“教科书级别”数据和用 GPT-3.5 处理的“逻辑严谨的内容”，以及 8 个网 A100 GPU。只需 4 天即可完成培训。

微软打造 13 亿参数小型 LLM AI 模型-第1张图片

▲ 图片来源Arxiv

微软团队表示，与网其增加模型的参数数量，提高模型训练数据集的质量可能会提高模型的准确性和效率。因此，他们使用高质量的数据来训练phi-1模型。测试中，phi-1的得分达到了50.6%，优于拥有1750亿个参数的GPT-3.5（47网%）。

▲ 图片来源Arxiv

微软表示，phi-1未来将会开源，而这并不是微软第一次开发小型LLM。在此之前，他们创建了一个 130 亿参数的 Orca，使用 GPT-4 合成数据进行训练，性能也不错。一样更好。

微软打造 13 亿参数小型 LLM AI 模型-第2张图片

目前phi-1的论文已经发表在arXiv上，论文的相关内容可以在这里找到。