LonePatient'Blog

在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬)，并将持续更新… 最新的模型汇总地址github： https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models Expand Table of Contents NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE NLG系列 GPT NEZHA-GEN CPM-Generate T5 T5-PEGASUS NLU-NLG系列 UniLM Simbert NLU系列 BERT 2018 | BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | Jacob Devlin, et al. | arX ...

BERT的两个任务主要是MLM和NSP，虽然取得了先进的性能，但是作者认为其并未充分利用句子的语言结构。作者将语言结构信息引入到预训练任务中，提出了一种新型的上下文表示模型-StructBERT，本质上，StructBERT的模型架构和BERT一样，不同点在于新增了两个预训练目标来增强模型的预训练，即：Word Structural Objective和Sentence Structural Objective 模型 Word Structural Objective BERT无法直接显式的对单词顺序和高阶依赖性建模。而将一句话中的单词打乱，一个好的语言模型应该能够通过重组单词顺序恢复句子的正确排列。为了能在StructBERT中实现，用Word Structural Objective使得打乱的句子重构成正确的句子顺序。具体的做法是从一句话中未被mask的单词中选取一定长度的子序列(论文中的超参K表示序列长度)，将子序列中的单词打乱，然后让模型恢复正确顺序，为了更好理解，下图充分说明了做法。 优化目标为: 其中θ\thetaθ为模型的参数，K为子序列长度，且: 如果K越大，则输 ...

如今在人工智能时代，一项新技术的出现往往能够颠覆某个产品甚至是某个行业，从而诞生新的独角兽公司甚至是行业巨头企业，比如国内近几年计算机视觉领域火热的CV四小龙（商汤、旷视、依图、云从）。 而NLP领域，由于技术、商业应用场景等诸多因素的限制，目前还没有出现独角兽级别的公司。但这并不意味着NLP没有发展前景，正如比尔盖茨所言“NLP是人工智能皇冠上的明珠”，是一项非常值得人们all in的事业。 因此，作为NLP领域的从业者，必须要时刻关注学术界or大厂AI Lab最新的科研动态，了解技术发展的趋势，以便提早做好产品规划以及技术预研。 对于NLPer而言，了解科研动态最好的方法就是关注顶会论文，与NLP相关的比较有影响力的顶会主要有ACL、EMNLP、NAACL、COLING、ICLR、AAAI、CoNLL、NLPCC等。 其中，ACL、NAACL、EMNLP、COLING被称为是NLP领域的四大顶会。ACL、NAACL以及EMNLP均由ACL（Association of Computational Linguistics）主办，而COLING则由ICCL（International ...

在蒸馏之后对学生模型再进行微调，进一步提升能力。 随着NLP模型的大小增加到数千亿个参数，创建这些模型的更紧凑表示的重要性也随之增加。知识蒸馏成功地实现了这一点，在一个例子中，教师模型的性能的96%保留在了一个小7倍的模型中。然而，在设计教师模型时，知识的提炼仍然被认为是事后考虑的事情，这可能会降低效率，把潜在的性能改进留给学生。 此外，在最初的提炼后对小型学生模型进行微调，而不降低他们的表现是困难的，这要求我们对教师模型进行预训练和微调，让他们完成我们希望学生能够完成的任务。因此，与只训练教师模型相比，通过知识蒸馏训练学生模型将需要更多的训练，这在推理的时候限制了学生模型的优点。 如果在设计和训练教师模型的过程中，将知识的提炼放在首要位置和中心位置，会有什么可能呢？我们能否设计并成功地训练一个“假定”要被蒸馏的模型，蒸馏后的版本能否成功地在任何下游任务上进行微调？这是我们在本文中总结的MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices中提出的一些问题。据作者说目前还没有与任务无关的轻量级预训练模型 ...

命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。NER是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要的地位。在美团搜索场景下，NER是深度查询理解（Deep Query Understanding，简称 DQU）的底层基础信号，主要应用于搜索召回、用户意图识别、实体链接等环节，NER信号的质量，直接影响到用户的搜索体验。 背景 下面将简述一下实体识别在搜索召回中的应用。在O2O搜索中，对商家POI的描述是商家名称、地址、品类等多个互相之间相关性并不高的文本域。如果对O2O搜索引擎也采用全部文本域命中求交的方式，就可能会产生大量的误召回。我们的解决方法如下图1所示，让特定的查询只在特定的文本域做倒排检索，我们称之为“结构化召回”，可保证召回商家的强相关性。举例来说，对于“海底捞”这样的请求，有些商家地址会描述为“海底捞附近几百米”，若采用全文本域检索这些商家就 ...

命名实体识别任务（NER）是NLP领域的一个研究热点。大部分使用序列标记框架来解决该问题，但是序列标记框架通常难以检测出嵌套的实体。基于Span的方法可以很容易地检测出不同子序列中的嵌套实体，因此适用于解决嵌套NER问题。然而，现有的基于Span的方法有两个主要问题。第一，对所有子序列进行分类识别在计算上很昂贵，而且在推理上效率很低。第二，基于Span的方法主要集中在学习Span表示，但缺乏明确的边界监督。针对上述两个问题，本文提出了一种边界增强型neural span 分类模型。除了对Span进行分类之外，还加入一个额外的边界检测任务来预测那些作为实体边界的单词。并在多任务学习框架下进行联合训练，在附加边界监督的情况下增强了跨度表示。此外，边界检测模型能够生成高质量的候选跨度，大大降低了推理过程的时间复杂度。 本文主要解决嵌套NER问题，如下所示： 数据集中每一个单词不再只有一个标签，可能存在多种标签。本文提出的BENSC模型的主要思想为：在给定一个句子，首先，对word进行语义编码，其次利用多任务学习思想联合训练边界检测模型和Span分类模型。边界检测模型主要预测每个词是否实体的 ...

NER是一个已经解决了的问题吗？或许，一切才刚刚开始。 例如，面对下面笔者在工作中遇到的12个关于NER的系列问题，你有什么好的trick呢？不着急，让我们通过本篇文章，逐一解答以下问题： Q1、如何快速有效地提升NER性能（非模型迭代）？ Q2、如何在模型层面提升NER性能？ Q3、如何构建引入词汇信息（词向量）的NER？ Q4、如何解决NER实体span过长的问题？ Q5、如何客观看待BERT在NER中的作用？ Q6、如何冷启动NER任务？ Q7、如何有效解决低资源NER问题？ Q8、如何缓解NER标注数据的噪声问题？ Q9、如何克服NER中的类别不平衡问题？ Q10、如何对NER任务进行领域迁移？ Q11、如何让NER系统变得“透明”且健壮？ Q12、如何解决低耗时场景下的NER任务？ 工业界中的NER问题为什么不易解决？ 众所周知，命名实体识别（Named Entity Recognition，NER）是一项基础而又重要的NLP任务，往往作为信息抽取、问答对话、机器翻译等方向的或显式或隐式的基础任务。或许在很多人眼里，NER似乎只是一个书本概念，跟句法分析一样存在感不强。 ...

地图App的功能可以简单概括为定位，搜索，导航三部分，分别解决在哪里，去哪里，和怎么去的问题。高德地图的搜索场景下，输入的是，地理相关的检索query，用户位置，App图面等信息，输出的是，用户想要的POI。如何能够更加精准地找到用户想要的POI，提高满意度，是评价搜索效果的最关键指标。 一个搜索引擎通常可以拆分成query分析、召回、排序三个部分，query分析主要是尝试理解query表达的含义，为召回和排序给予指导。 地图搜索的query分析不仅包括通用搜索下的分词，成分分析，同义词，纠错等通用NLP技术，还包括城市分析，wherewhat分析，路径规划分析等特定的意图理解方式。 常见的一些地图场景下的query意图表达如下： query分析是搜索引擎中策略密集的场景，通常会应用NLP领域的各种技术。地图场景下的query分析，只需要处理地理相关的文本，多样性不如网页搜索，看起来会简单一些。但是，地理文本通常比较短，并且用户大部分的需求是唯一少量结果，要求精准度非常高，如何能够做好地图场景下的文本分析，并提升搜索结果的质量，是充满挑战的。 整体技术架构 类似于通用检索的架构，地 ...

什么是 Github Actions，官网的介绍是： With GitHub Actions you can automate your workflow from idea to production. 有点抽象，但是我们知道 Github 是什么啊，代码仓库，一个提供了分布式版本控制和源代码管理的代码仓库。在实际场景中，比如你写好了一个网站的代码，并且存储到了 Github 上，就可以了吗 ，并灭有没有，你还需要部署代码才能让别人访问你的网站。另外，如果你修改了代码，还需要单独测试。理想的情况应该是：当你将代码提交到 master 时，测试、部署等等所有工作自动执行。现在有了 Github Actions，就可以帮我们实现这些功能， Github Actions 可以自动化和定制化项目的 Workflow，像官网显示的那样。 准备私有仓库 私有仓库： blog 这里是存放 Hexo 博客源码的 创建密钥对 为了方便运行 GitHub Actions 时登录 GitHub 账号，我们使用 SSH 方式登录。就是要把设备的私钥交给 GitHub Actions，公钥交给 Gi ...

当前的预训练模型如BERT都分为两个训练阶段：预训练和微调。但很多人不知道的是，在微调阶段，随机种子不同会导致最终效果呈现巨大差异。本文探究了在微调时参数初始化、训练顺序和early stopping对最终效果的影响，发现：参数初始化和训练顺序在最终结果上方差巨大，而early stopping可以节省训练开销。这启示我们去进一步探索更健壮、稳定的微调方式。 介绍 当前所有的预训练模型都分为两个训练阶段：预训练和微调。预训练就是在大规模的无标注文本上，用掩码语言模型（MLM）或其他方式无监督训练。微调，就是在特定任务的数据集上训练，比如文本分类。 然而，尽管微调使用的参数量仅占总参数量的极小一部分（约0.0006%），但是，如果对参数初始化使用不同的随机数种子，或者是用不同的数据训练顺序，其会对结果产生非常大的影响——一些随机数直接导致模型无法收敛，一些随机数会取得很好的效果。 比如，下图是在BERT上实验多次取得的结果，远远高于之前BERT的结果，甚至逼近更先进的预训练模型。似乎微调阶段会对最终效果产生巨大的方差。 为此，我们想知道有哪些因素会导致模型最终效果的巨大不确定性。本文 ...