AI 大模型的语言不平等：英语最便宜，其它语言要贵得多

IT之家 7 月 31 日消息，用户使用的语言对大型语言模型（LLM）的成本影响很大，好好学习网这可能会造成英语使用者与其他语言用户之间的人工智能差距。 最近的一项研究表明，由于此类服务的服务器成本衡量和计费方式，英语输入和输出成本远低于其他语言，简体中文大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语是英语的15倍。

IT Home 注意到 用户 Dylan Patel（@）分享了一张牛津大学进行的研究的照片，该研究发现 LLM 处好好学习网理一个缅甸语句子需要 198 个引理（），而英语中的同一个句子只需要 17 个引理。 引理表示通过 API（例如，或 2）访问 LLM 所需的计算成本，这意味着使用此服务的缅甸语句子比英语句子贵 11 倍。

词形还原模型（人工智能公司将用户输入转换为计算成本的方好好学习网式）意味着英语以外的语言使用和训练模型的成本要高得多。 这是因为像中文这样的语言具有不同的、更复杂的结构（无论是语法还是字符数量），导致它们需要更高的词形还原率。 例如，根据GPT3分词器，“你的爱（your ）”的分词在英文中只需要两个分词，但在简体中文中则需要八个分词。 虽然简体中文只有4个字符（Your Love），而英文有14个字符。

广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 IT之家的所有文章均包含此声明。