谷歌发布自然语言处理系统基准：将大幅改变Siri（小爱同学）

谷歌今天发布了自然语言处理系统基准测试Xtreme，其中有九项任务需要对40种语言和12种语言家族的语义进行推理。这家科技巨头的研究人员断言，它可以评估AI模型是否捕获跨语言共享的知识，这对于越来越多的自然语言应用程序很有用，例如Siri、小爱同学等。

谷歌的目的是推动人工智能多语言学习领域的研究，该领域的大量近期工作已研究了是否可以利用数据稀疏语言的结构来训练健壮的机器学习模型。例如，语言通常有词源上相似的词，英语中的“desk”和德语中的“Tisch”来自拉丁语discus，并以类似的方式标记语义角色，例如在汉语和土耳其语中使用后置表示空间关系。

语言都在Xtreme中，可以最大程度地提高多样性并覆盖现有任务以及提供培训数据。其中包括正在研究的语言，如在印度南部、斯里兰卡和新加坡使用的德拉威语泰米尔语、主要在印度南部使用的泰卢固语和马拉雅拉姆语，以及在非洲使用的尼日尔-刚果语斯瓦希里语和约鲁巴语。Xtreme的九项任务涵盖了一系列范例，包括句子分类（即将一个句子分配给一个或多个类）和结构化预测（预测诸如实体和词类之类的对象），此外还包括句子检索（根据一组记录匹配查询）和高效的问题解答。

在Xtreme上成功测试的模型必须使用鼓励跨语言学习的目标在多语言文本上进行预训练，然后必须对特定于任务的英语数据进行微调，因为英语是最有可能提供标签数据的语言。Xtreme对这些模型的评估是基于零延迟跨语言传输性能，也就是说，是在没有任务特定数据的其他语言上进行的。对于使用其他语言提供标签数据的任务，Xtreme还会将其与语言数据的微调进行比较，并通过获取所有任务的零射得分来提供综合得分。

值得注意的是，在Xtreme上的初步实验中，谷歌的一组研究人员发现，即使是最先进的模型，如多语言BERT、XLM、XLM-R和M4，也没有达到预期的效果。多语种的BERT在西班牙语上达到了86.9分（满分100分）的零射精度，而在日语上只有49.2分，并且通常很难转换成非拉丁语脚本，而所有的模型都很难预测在英语训练数据中没有的实体。（印尼语和斯瓦希里语的准确度分别为58.0和66.6，而葡萄牙语和法语分别为82.3和80.1。）

总的来说，虽然模型在大多数现有任务中的英语表现接近人类，但其他许多语言的表现却明显较低。在所有的模式和设置中，英语和其他语言的表现仍然有很大的差距，这表明在跨语言迁移方面有很大的研究潜力。

如果真的可以研究成功，对于我们来说将是一个好消息。现在很多手机上都有人工智能语音，例如Siri、小爱同学。但是他们实际可以较为完美理解的语言只有中文和英语，而且容易出现偏差。如果Xtreme发布，将对这种情况进行改变，这些人工智能可以更好地理解我们的要求，也能完成其他语种的要求。