LiuWeiTang'Blog

在蒸馏之后对学生模型再进行微调，进一步提升能力。 随着NLP模型的大小增加到数千亿个参数，创建这些模型的更紧凑表示的重要性也随之增加。知识蒸馏成功地实现了这一点，在一个例子中，教师模型的性能的96%保留在了一个小7倍的模型中。然而，在设计教师模型时，知识的提炼仍然被认为是事后考虑的事情，这可能会降低效率，把潜在的性能改进留给学生。 此外，在最初的提炼后对小型学生模型进行微调，而不降低他们的表现是困难的，这要求我们对教师模型进行预训练和微调，让他们完成我们希望学生能够完成的任务。因此，与只训练教师模型相比，通过知识蒸馏训练学生模型将需要更多的训练，这在推理的时候限制了学生模型的优点。 如果在设计和训练教师模型的过程中，将知识的提炼放在首要位置和中心位置，会有什么可能呢？我们能否设计并成功地训练一个“假定”要被蒸馏的模型，蒸馏后的版本能否成功地在任何下游任务上进行微调？这是我们在本文中总结的MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices中提出的一些问题。据作者说目前还没有与任务无关的轻量级预训练模型 ...

命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。NER是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要的地位。在美团搜索场景下，NER是深度查询理解（Deep Query Understanding，简称 DQU）的底层基础信号，主要应用于搜索召回、用户意图识别、实体链接等环节，NER信号的质量，直接影响到用户的搜索体验。 背景 下面将简述一下实体识别在搜索召回中的应用。在O2O搜索中，对商家POI的描述是商家名称、地址、品类等多个互相之间相关性并不高的文本域。如果对O2O搜索引擎也采用全部文本域命中求交的方式，就可能会产生大量的误召回。我们的解决方法如下图1所示，让特定的查询只在特定的文本域做倒排检索，我们称之为“结构化召回”，可保证召回商家的强相关性。举例来说，对于“海底捞”这样的请求，有些商家地址会描述为“海底捞附近几百米”，若采用全文本域检索这些商家 ...

命名实体识别任务（NER）是NLP领域的一个研究热点。大部分使用序列标记框架来解决该问题，但是序列标记框架通常难以检测出嵌套的实体。基于Span的方法可以很容易地检测出不同子序列中的嵌套实体，因此适用于解决嵌套NER问题。然而，现有的基于Span的方法有两个主要问题。第一，对所有子序列进行分类识别在计算上很昂贵，而且在推理上效率很低。第二，基于Span的方法主要集中在学习Span表示，但缺乏明确的边界监督。针对上述两个问题，本文提出了一种边界增强型neural span 分类模型。除了对Span进行分类之外，还加入一个额外的边界检测任务来预测那些作为实体边界的单词。并在多任务学习框架下进行联合训练，在附加边界监督的情况下增强了跨度表示。此外，边界检测模型能够生成高质量的候选跨度，大大降低了推理过程的时间复杂度。 本文主要解决嵌套NER问题，如下所示： 数据集中每一个单词不再只有一个标签，可能存在多种标签。本文提出的BENSC模型的主要思想为：在给定一个句子，首先，对word进行语义编码，其次利用多任务学习思想联合训练边界检测模型和Span分类模型。边界检测模型主要预测每个词是否实体的 ...

NER是一个已经解决了的问题吗？或许，一切才刚刚开始。 例如，面对下面笔者在工作中遇到的12个关于NER的系列问题，你有什么好的trick呢？不着急，让我们通过本篇文章，逐一解答以下问题： Q1、如何快速有效地提升NER性能（非模型迭代）？ Q2、如何在模型层面提升NER性能？ Q3、如何构建引入词汇信息（词向量）的NER？ Q4、如何解决NER实体span过长的问题？ Q5、如何客观看待BERT在NER中的作用？ Q6、如何冷启动NER任务？ Q7、如何有效解决低资源NER问题？ Q8、如何缓解NER标注数据的噪声问题？ Q9、如何克服NER中的类别不平衡问题？ Q10、如何对NER任务进行领域迁移？ Q11、如何让NER系统变得“透明”且健壮？ Q12、如何解决低耗时场景下的NER任务？ 工业界中的NER问题为什么不易解决？ 众所周知，命名实体识别（Named Entity Recognition，NER）是一项基础而又重要的NLP任务，往往作为信息抽取、问答对话、机器翻译等方向的或显式或隐式的基础任务。或许在很多人眼里，NER似乎只是一个书本概念，跟句法分析一样存在感不强 ...

当前的预训练模型如BERT都分为两个训练阶段：预训练和微调。但很多人不知道的是，在微调阶段，随机种子不同会导致最终效果呈现巨大差异。本文探究了在微调时参数初始化、训练顺序和early stopping对最终效果的影响，发现：参数初始化和训练顺序在最终结果上方差巨大，而early stopping可以节省训练开销。这启示我们去进一步探索更健壮、稳定的微调方式。 介绍 当前所有的预训练模型都分为两个训练阶段：预训练和微调。预训练就是在大规模的无标注文本上，用掩码语言模型（MLM）或其他方式无监督训练。微调，就是在特定任务的数据集上训练，比如文本分类。 然而，尽管微调使用的参数量仅占总参数量的极小一部分（约0.0006%），但是，如果对参数初始化使用不同的随机数种子，或者是用不同的数据训练顺序，其会对结果产生非常大的影响——一些随机数直接导致模型无法收敛，一些随机数会取得很好的效果。 比如，下图是在BERT上实验多次取得的结果，远远高于之前BERT的结果，甚至逼近更先进的预训练模型。似乎微调阶段会对最终效果产生巨大的方差。 为此，我们想知道有哪些因素会导致模型最终效果的巨大不确定性。本 ...

对于预训练模型来说，提升模型的大小能够提高下游任务的效果，然而如果进一步提升模型规模，势必会导致显存或者内存出现OOM的问题，长时间的训练也可能导致模型出现退化的情况。这次的新模型不再是简单的的升级，而是采用了全新的权重共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。ALBERT模型提出了两种减少内存的方法，同时提升了训练速度，其次改进了BERT中的NSP的预训练任务。 从ResNet论文可知，当模型的层次加深到一定程度后继续加深层深度会带来模型的效果下降，与之类似，如下图所示； 将BERT的hidden size增加，结果效果变差。因此，ALBERT模型三种手段来提升效果，又能降低模型参数量大小。 Embedding因式分解 从模型的角度来说，WordPiece embedding的参数学习的表示是上下文无关的，而隐藏层则学习的表示是上下文相关的。在之前的研究成果中表明，BERT及其类似的模型的好效果更多的来源于上下文信息的捕捉，因而，理论上来说隐藏层的表述包含的信息应该更多一些，隐藏层的大小应比embedding大，若让embe ...

2019达观杯信息提取第九名方案介绍以及代码地址 代码 代码地址: github 方案

快来试试 Lookahead 最优化方法啊，调参少、收敛好、速度还快，大牛用了都说好。 最优化方法一直主导着模型的学习过程，没有最优化器模型也就没了灵魂。好的最优化方法一直是 ML 社区在积极探索的，它几乎对任何机器学习任务都会有极大的帮助。 从最开始的批量梯度下降，到后来的随机梯度下降，然后到 Adam 等一大帮基于适应性学习率的方法，最优化器已经走过了很多年。尽管目前 Adam 差不多已经是默认的最优化器了，但从 17 年开始就有各种研究表示 Adam 还是有一些缺陷的，甚至它的收敛效果在某些环境下比 SGD 还差。 为此，我们期待更好的标准优化器已经很多年了… 最近，来自多伦多大学向量学院的研究者发表了一篇论文，提出了一种新的优化算法——Lookahead。值得注意的是，该论文的最后作者 Jimmy Ba 也是原来 Adam 算法的作者，Hinton 老爷子也作为三作参与了该论文，所以作者阵容还是很强大的。 Lookahead 算法与已有的方法完全不同，它迭代地更新两组权重。直观来说，Lookahead 算法通过提前观察另一个优化器生成的「fast weights」序列，来选择 ...

预训练的语言模型在这俩年取得了巨大的突破，但是如何比较各预训练模型的优劣显然是一个很有挑战的问题，主要是太烧钱了。本文研究了一些预训练参数和训练批大小对BERT模型的影响。发现，BERT远远没有被充分训练，用不同的预训练参数，都会对最后的结果产生不同的影响，并且最好的模型达到了SOTA。 介绍 预训练模型，例如 ELMo、GPT、BERT、XLM、XLNet 已经取得了重要进展，但要确定方法的哪些方面贡献最大是存在挑战的。训练在计算上是昂贵的，很难去做大量的实验，并且预训练过程中使用的数据量也不一致。 本文对 BERT 预训练过程进行了大量重复实验研究，其中包括对超参数调整效果和训练集大小的仔细评估。 发现 BERT 的训练不足，并提出了一种改进的方法来训练BERT模型（称之为RoBERTa），该模型可以匹敌或超过所有后 BERT 方法的性能。模型的修改很简单，它们包括： 训练模型更大，具有更大的训练批次，更多的数据 删除下一句预测的目标 对更长的序列进行训练 动态改变应用于训练数据的masking形式 总的来说，本文贡献如下 提出了一组重要的 BERT 设计选择和训练策略， ...

BERT通常只训练一个encoder用于自然语言理解，而GPT的语言模型通常是训练一个decoder。如果要将BERT或者GPT用于序列到序列的自然语言生成任务，通常只有分开预训练encoder和decoder，因此encoder-attention-decoder结构没有被联合训练，attention机制也不会被预训练，而decoder对encoder的attention机制在这类任务中非常重要，因此BERT和GPT在这类任务中只能达到次优效果。 如上图 所示，encoder将源序列 XXX 作为输入并将其转换为隐藏表示的序列，然后decoder通过attention机制从encoder中抽象出隐藏表示的序列信息，并自动生成目标序列文本 YYY。 本文针对文本生成任务， 在BERT的基础上，提出了Masked Sequence to Sequence pre-training(MASS)，MASS采用encoder-decoder框架以预测一个句子片段，其中encoder端输入的句子被随机masked连续片段，而decoder端需要生成该masked的片段，通过这种方式MASS能够 ...