AI 大模型的语言不平等：英语最便宜，其它语言要贵得多

IT之家 7 月 31 日消息，用户使用的语言对大型语言模型（LLM）的成本影响很大，这可能会造成英语使用者与其他语言用户之间的人工智能差距。 最近的一项研究表明，由于此类服务的服务器成本衡量和计费方式，英语输入和输出成本远低于其他语言，简体中文大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语是英语的15网倍。

IT Hom网e 注意到 用户 Dylan Patel（@）分享了一张牛津大学进行的研究的照片，该研究发现 LLM 处理一个缅甸语句网子需要 198 个引理（），而英语中的同一个句子只需要 17 个引理。 引理表示通过 API（例如，或 2）访问 LLM 所需的计算成本，这意味着使用此服务的缅甸语句子比英语句子贵 11 倍。

词形还原模型（人工智能公司将用户输入转换为计算成本的方式）意味着英语以外的语言使用和训练模型的成本要高得多。 这是因为像中文这样的语言具有不同的、更复杂的结构（无论是语法还是字符数量），导致它们需要更高的词形还原率。 例如，根据GPT3分词器，“你的爱（your ）”的分词在英文中只需要两个分词，但在简体中文中则需要八个分词。 虽然简体中文只有4个字符（Your Love），而英文有14个字符。

广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。