mT5： 多国语言版T5(中文T5)(2020年10月论文)

　　mT5： 多国语言版T5(中文T5)(2020年10月论文)1. 众言语模子日常来说比单言语模子正在统一职分上后果略差，比方图3，不过mT3和T3结果确相同，说明了众言语模子的潜力。

　　2. 大型模子的本能比繁复的模子更强劲，比方外2，mT5-XXL仅举行了75%的陶冶，就仍旧到达SOTA，不过参数目达13B。

　　3. 零样本研习(zero-shot learning): 假使陶冶时没有看到倾向陶冶集，也能举行模子预测。

　　迩来的“文本到文本的转移transformer”(T5)行使联合的文本到文本的款式和大界限，正在各样英语NLP职分上得到最新的结果。 正在本文中，咱们先容了mT5，它是T5的众言语变体，已正在包蕴101种言语的新的基于Common Crawl的数据荟萃举行了预陶冶。 咱们描写了mT5的安排和修正的陶冶，并正在很众众言语基准上映现了其最新的本能。 这项劳动中利用的扫数代码和模子checkpoint都是公然可用的。

　　正在本文中，咱们通过揭橥mT5(T5的众言语变体)来延续这一古代。 咱们利用mT5的倾向是天生一个大界限的众言语模子，该模子尽或许少地偏离用于创修T5的手腕。 于是，mT5承受了T5的扫数便宜(如第2节所述)，比方其通用的文本到文本款式，基于大界限实证咨议得出的见解的安排及其界限。 为了陶冶mT5，咱们引入了称为mC4的C4数据集的众言语变体。 mC4包蕴从民众“Common Crawl”搜集抓取中提取的101种言语的自然文本。 为了验证mT5的本能，咱们正在几个基准数据荟萃举行了测试，显示了很众情形下的最新本能。 咱们揭橥了颠末预陶冶的模子和代码，以便社区能够行使咱们的劳动。

　　正在本节中，咱们扼要概述T5和C4预陶冶数据集。 Raffel等人(2019)中供给了更众周密音信。

　　T5是一种颠末预陶冶言语模子，其重要区别是针对扫数基于文本的NLP题目利用联合的“文本到文本”款式。这种手腕看待天生职分(比方机械翻译或文本摘要)很自然，由于职分款式央浼模子天生以某些输入为条目的文本。看待分类职分，这是很不寻常的，此中陶冶T5输出label的文本(比方，用于激情领悟的“正”或“负”)而不是种别索引。这种手腕的重要便宜是，它应许对每个职分利用十足一样的陶冶倾向(teacher-forced maximum-likelihood)，这本质上意味着能够利用一组超参数对任何下逛职分职分举行有用的微调。Keskar等人(2019)和McCann等人(2018)提出了犹如的联合框架。鉴于此职分款式的seq2seq构造，T5利用了Vaswani等人最初提出的根基编码器-解码器transformer架构2017)。 T5正在Masked言语模子的“span-corruption”倾向长进行了预陶冶，此中输入token的连接跨度被mask token更换，而且陶冶了模子以重修被mask的token。

　　T5的另一个区别成分是它的界限，其预陶冶模子的巨细从6000万到110亿个参数不等。 这些模子已针对约1万亿token数据举行了预陶冶。无标签的数据来自C4数据集，该数据集来自民众Common Crawl网站抓取的大约750GB的英语文本。 除了普通的反复数据删除除外，C4还席卷仅提取自然言语(而不是样板言语和其他芜乱言语)的动员式手腕。T5的预陶冶倾向，模子架构，界限战略和很众其他安排抉择，都是基于大界限的抉择实证咨议，这正在Raffel等人(2019)中举行了周密描写。

　　咱们正在本文中的倾向是创修一个尽或许众地遵守T5手腕的大界限众言语模子。 为此，咱们开辟了C4预陶冶数据集的扩展版本，涵盖101种言语，并将更改集成到T5中以更好地合适这种众言语。

　　C4数据集被明了安排为仅英语：langdetect任何页面少于99％的英语或许性的页面将被抛弃。 相反，看待mC4，咱们利用cld3识别100众种言语。 因为这些言语中的某些正在互联网上相对稀缺，于是咱们行使了Common Crawl或取到目前为止揭橥的71个月的搜集实质。 这比C4所利用的源数据要众得众，C4仅利用2019年4月举行的搜集抓取就足以供给大方的英语数据。

　　C4中一个紧要的动员式过滤步是删除未以英语末尾标点符号终端的行。 因为这对很众言语都不实用，于是咱们改用“行长过滤器”，该过滤器央浼页面起码包蕴三行，而且包蕴200个或更众字符的文本。 不然，咱们将服从C4的过滤手腕，对文档中的行举行反复数据删除，然后过滤包蕴不良词的页面。结果，咱们利用cld3检测每个页面的重要言语，并删除置信度低于70％的页面。

　　行使这些过滤器后，咱们将按言语对其余页面举行分组，正在语料库中的扫数言语都包蕴10,000或更众页面。 这会发生cld3界说的107种“言语”文本。不过，咱们贯注到此中有6种只是一样白话的剧本变体(比方ru是西里尔字母的俄语，而ru-Latn是拉丁字母的俄语)。 图1中显示了每种言语的页数直方图。 周密的数据集统计音信(席卷每种言语的token计数)正在外5(附录)中显示。

　　图1：看待差异的言语采样指数α(右轴)，每种言语正在mC4中的页面计数(左轴)，以及来自每种言语的mT5陶冶样本的比例。 咱们的最终模子利用α= 0.3

　　外5：mC4语料库的统计音信，总共6.6B页和6.3T token。 利用默认的指数滑润值α= 0.3，“mT5”列体现来自给定言语的mT5陶冶数据的比例。 咱们列出了cld3检测到的107种“言语”，但请贯注此中的六种(token为“拉丁”)只是现有言语的罗马化变体。

　　咱们用于mT5的模子架构和陶冶流程与T5严密相同。 完全来说，咱们基于“T5.1.1”手腕创修了mT5，对mT5举行了修正，利用GeGLU非线年)激活函数，正在更大模子中缩放dmodel而不是改革dff, 对无标签数据举行预陶冶而没有dropout等手段。 为简明起睹，更众周密音信请参考Raffel et al. (2019)。

　　预陶冶众言语模子的重要成分是何如从每种言语中采样数据。最终，这种抉择是零和博弈：若是对低资源言语的采样过于频仍，则该模子或许过拟合；反之亦然。若是高资源言语没有颠末足够的陶冶，则该模子将欠拟合。于是，咱们采用(Devlin，2018; Conneau et al.,2019; Arivazhagan et al.,2019)中利用的手腕，并凭据p(L)∝ Lα的概率通过采样样历来加强资源较少的言语，此中p(L)是正在预陶冶时代从给定言语采样文本的概率和L是该言语中样本的数目。超参数α(平日α1)使咱们能够局限正在低资源言语上“boost”陶冶概率的水准。先前劳动利用的值，mBERT(Devlin，2018)是α= 0.7，XLM-R(Conneau等人，2019)的α= 0.3，MMNMT(Arivazhagan等人，2019)的α= 0.2。咱们考试了扫数这三个值，挖掘α= 0.3能够正在高资源言语和低资源言语的本能之间做出合理的折衷。

　　咱们的模子涵盖了100众种言语，这必要更大的单词外量。 遵守XLM-R(Conneau et al.,2018)之后，咱们将单词外量扩充到250,000个单词。 与T5相通，咱们利用SentencePiece(Kudo and Richardson，2018; Kudo，2018)单词模子，这些单词模子以与陶冶时代，利用的一样言语采样率举行陶冶。 为了合适具有大字符集(比方中文)的言语，咱们利用0.99999的字符遮盖率，但还启用了SentencePiece的“byte-fallback”特性，以确保能够独一编码任何字符串。

　　为了使咱们的新模子尤其完全化，咱们与现有的大方利用众种言语的预陶冶言语模子举行了扼要对比。 为简明起睹，咱们要点先容接济数十种言语的模子。 外1给出了mT5与最相同模子的high-level对比。

　　为了验证mT5的本能，咱们从xtreme众言语基准测试(Hu等人，2020年)中的6个职分评估了咱们的模子：XNLI(Conneau等人，2018年)包蕴14种言语的职分； XQuAD(Artetxe等，2019)，MLQA(Lewis等，2019b)和TyDi QA(Clark等，2020)诀别包蕴10、7和11种言语阅读会意基准; WikiAnn(Pan等人，2017)的定名实体识别(NER)数据集，此中包蕴来自xtreme的40种言语(Hu等人，2020); PAWS-X(Yang等人，2019)用7种言语复述识别数据集。咱们将扫数职分转换为文本到文本款式，即直接天生label文本(XNLI和PAWS-X)，实体tags和label(WikiAnn NER)或回复(XQuAD，MLQA和TyDi QA)。看待NER，若是有众个实体，则服从闪现的程序将它们拼接起来；若是没有实体，则倾向文本为“无”。咱们思考这些职分的变体，此中仅凭据英语数据(“zero-shot”)或将英语机械翻译成每种倾向言语的数据(“translate-train”)对模子举行微调。为了简明起睹，咱们参考Hu等人(2020)来得到相合这些基准的更众周密音信。

　　遵守原始的T5手腕，咱们思考了五个模子巨细：Small(≈300M参数)，Base(600M)，Large(1B)，XL(4B)和XXL(13B)。 与相应的T5模子变体比拟，参数数目的扩充来自于mT5中利用的较大单词外。 咱们对1024 batches， 长度为1024的输入序列举行了100万步的预陶冶，相当于总共约1万亿输入token。 这与T5的预陶冶量一样，差不众是XLM-R的预陶冶的1/6。 因为时代限度，咱们只陈述了颠末陶冶的mt5-XXL的结果，达成了75万步。 最终结果和进一步的尝试将正在咱们的民众代码库中举行更新。

　　外2给出了咱们的重要结果，外6至外11(附录)给出了每个职分的每种言语的细分。 咱们最大的模子mT5-XXL正在咱们思考的扫数职分上都到达了最新秤谌。 请贯注，与咱们的模子差异，InfoXLM(Chi等，2020)从并行陶冶数据中受益，而X-STILT(Phang等，2020)行使与倾向职分相同的label数据。 总体而言，咱们的结果杰出了模子才气，正在跨言语体现研习中的紧要性，并倡议增添简陋的预陶冶的手腕，能够替换依赖于LM筛选，并行数据或中央职分的更繁复的时间。

　　外2：合于xtreme句子对分类，构造化预测和问答职分的结果。除mT5(咱们的)外，扫数目标均来自Fang等(2020)，假使Conneau等(2019)的XLM-R的正在的XNLI上的显示(80.9)更好 。 看待“翻译陶冶”树立，咱们席卷英语陶冶数据，以便与Fang等人(2020)举行对比。 这与Hu et al(2020)的xtreme“翻译陶冶”树立差异。

　　正在“翻译陶冶”树立中，咱们正在扫数xtreme分类和QA职分上也到达或超出了最新秤谌。 看待这些职分，咱们对labeled的英语数据及其机械翻译的组合举行微调。这能够直接与Filter(Fang等人，2020年)以及XLM-R基线举行对比)。 不过请贯注，此树立与xtreme“translatetrain”(Hu等人，2020)有所差异，他们不席卷英文数据。

　　与特意针对该言语陶冶的巨细相同的“专用”模子比拟，已考察到大方的众言语模子正在给定言语上的显示不佳(Arivazhagan等人，2019)。 为了量化这种后果，咱们对比了正在SQuAD阅读会意基准上，举行微调时mT5和T5的本能(Rajpurkar等，2016)。结果如外3所示，而T5的结果摘自Raffel等人( 2019)。 固然小型和根蒂型mT5模子不足其英语T5同类模子，但咱们挖掘较大的模子缩小了差异。 这评释或许存正在一个改变点，该模子有足够的才气有用地研习101种言语，而没有明白的骚扰影响。

　　咱们利用“Large”模子动作基准运转六次熔解，篡改各样树立：(i)将dropout rate扩充到0.1，以期裁汰对低资源言语的过拟合，(ii)将序列长度裁汰为512，和T5中相通(iii)将预陶冶倾向中的均匀噪声跨度长度扩充到10，由于咱们考察到每个token的字符数少于T5；(iv)将言语采样指数α调治为MMNMT中和mBERT(Devlin，2018)利用的{0.2，0.7}。(v)正在mC4数据pipeline中转为“行长过滤器”，(vi)正在mC4中增加来自103种言语的Wikipedia data。

　　这些熔解对XNLI零射切实率的影响如外4所示。正在每种情形下，均匀XNLI得分均低于mT5-Large基线，这说明了咱们抉择的树立的合理性。 行长过滤器供给了+2点的擢升，外明了Conneau等人(2019)和Raffel等人(2019)的挖掘，即从Common Crawl中过滤低质地页面很有价格。 将言语采样指数α扩充到0.7具有刷新高资源言语(比方俄语81.5→82.8)的本能的预期后果，同时侵害了低资源言语(比方斯瓦希里语75.4→70.6)，均匀后果为负。 相反，将α低落到0.2会稍微降低一种结果几种言语(乌尔都语73.5→73.9)，但正在其他地方则无益。 外12和外13(附录)诀别供给了相合XNLI的周密每种言语目标以及zero-shot XQuAD上的熔解本能，显示出大致一样的趋向。

　　正在本文中，咱们先容了mT5和mC4：T5模子和C4数据集的大界限众言语变体。 咱们说明了T5手腕可直接实用于众种言语处境，并正在各样基准测试中均显示密切。 咱们揭橥了本文中利用的扫数代码和用于预陶冶的数据集，以鞭策来日对众言语会意的劳动。