闲记算法

在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬)，并将持续更新… 最新的模型汇总地址github： https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models Expand Table of Contents 更新日志 LLM ChatLLM 开源模型库平台 开源数据集库 NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE ERNIE3 RoFormer StructBERT Lattice-BERT Mengzi-BERT ChineseBERT TaCL MC-BERT 二郎神 PERT MobileBERT GAU-α DeBERTa GlyphBERT CKBERT LERT RoCBert NLG系列 GPT GPT-3 NEZHA-GEN CPM-Gen ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-03-24) 今日共更新359篇论文,其中: 42篇自然语言处理（NLP: cs.CL) 132篇计算机视觉(CV: cs.CV) 60篇机器学习(ML: cs.LG) 19篇人工智能(AI: cs.AI) 4篇信息检索(IR: cs.IR) 其它主题102篇 自然语言处理 NLP-0-标题: Learning and Verification of Task Structure in Instructional Videos 链接: https://arxiv.org/abs/2303.13519 作者: ...

BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。 LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型；(2) 推理速度太慢。本文初步整理了一些推理大模型的工具和代码，并简单测试了推理速度。下面是本文测试的一些背景： 目前是2023年2月 使用7B模型bloom-7b1-mt 4张3090(但在实际推理中仅使用2张3090) 依赖包的版本 transformers==4.26.0 tensor-parallel==1.0.24 deepspeed==0.7.7 bminf==2.0.1 辅助函数 12345678910111213141516171819202122232425262728# utils.pyimport numpy as npfrom time import perf_counter# per ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-03-23) 今日共更新325篇论文,其中: 23篇自然语言处理（NLP: cs.CL) 127篇计算机视觉(CV: cs.CV) 63篇机器学习(ML: cs.LG) 12篇人工智能(AI: cs.AI) 1篇信息检索(IR: cs.IR) 其它主题99篇 自然语言处理 NLP-0-标题: Open-source Frame Semantic Parsing 链接: https://arxiv.org/abs/2303.12788 作者: David Chanin 备注: 点击查看摘要 Abst ...

假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前 …… 且慢！训练可不仅仅像这两个字的发音那么简单，看看 BLOOM 的训练或许对你有帮助。 近年来，语言模型越训越大已成为常态。大家通常会诟病这些大模型本身的信息未被公开以供研究，但很少关注大模型训练技术这种背后的知识。本文旨在以 1760 亿参数的语言模型 BLOOM 为例，阐明训练此类模型背后的软硬件工程和技术要点，以促进大家对大模型训练技术的讨论。 BLOOM 文档链接 首先，我们要感谢促成或赞助我们这个小组最终完成了训练 1760 亿参数模型这一惊人壮举的公司、个人和团体。 然后，我们开始讨论硬件配置和主要技术组件。以下是对本项目的简要总结: 硬件 384 张 80GB A100 GPU 软件 Megatron-DeepSpeed 模型架构 基于 GPT3 数据集 含 59 种语言，共 3500 亿词元 训练时长 3.5 个月 人员组成 该项目由 Thomas Wolf (Hugging Face 联合创始人兼 CSO) ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-03-22) 今日共更新375篇论文,其中: 23篇自然语言处理（NLP: cs.CL) 138篇计算机视觉(CV: cs.CV) 84篇机器学习(ML: cs.LG) 13篇人工智能(AI: cs.AI) 7篇信息检索(IR: cs.IR) 其它主题110篇 自然语言处理 NLP-0-标题: VideoXum: Cross-modal Visual and Textural Summarization of Videos 链接: https://arxiv.org/abs/2303.12060 作者: ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-03-21) 今日共更新592篇论文,其中: 51篇自然语言处理（NLP: cs.CL) 217篇计算机视觉(CV: cs.CV) 98篇机器学习(ML: cs.LG) 22篇人工智能(AI: cs.AI) 7篇信息检索(IR: cs.IR) 其它主题197篇 自然语言处理 NLP-0-标题: EVA-02: A Visual Representation for Neon Genesis 链接: https://arxiv.org/abs/2303.11331 作者: Yuxin Fang, Quan ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-03-20) 今日共更新288篇论文,其中: 14篇自然语言处理（NLP: cs.CL) 97篇计算机视觉(CV: cs.CV) 56篇机器学习(ML: cs.LG) 11篇人工智能(AI: cs.AI) 5篇信息检索(IR: cs.IR) 其它主题105篇 自然语言处理 NLP-0-标题: Direct and indirect evidence of compression of word lengths. Zipfs law of abbreviation revisited 链接: https:/ ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-03-17) 今日共更新379篇论文,其中: 37篇自然语言处理（NLP: cs.CL) 127篇计算机视觉(CV: cs.CV) 71篇机器学习(ML: cs.LG) 17篇人工智能(AI: cs.AI) 1篇信息检索(IR: cs.IR) 其它主题126篇 自然语言处理 NLP-0-标题: P: Extended Textual Conditioning in Text-to-Image Generation 链接: https://arxiv.org/abs/2303.09522 作者: Andre ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-03-16) 今日共更新315篇论文,其中: 24篇自然语言处理（NLP: cs.CL) 111篇计算机视觉(CV: cs.CV) 68篇机器学习(ML: cs.LG) 10篇人工智能(AI: cs.AI) 3篇信息检索(IR: cs.IR) 其它主题99篇 自然语言处理 NLP-0-标题: Cascading and Direct Approaches to Unsupervised Constituency Parsing on Spoken Sentences ICASSP2023 链接: htt ...

零样本信息抽取（Information Extraction，IE）旨在从无标注文本中建立IE系统，因为很少涉及人为干预，该问题非常具有挑战性。但零样本IE不再需要标注数据时耗费的时间和人力，因此十分重要。近来的大规模语言模型（例如GPT-3，Chat GPT）在零样本情况下取得了很好的表现，这启发我们探索基于Prompt的方法来解决零样本IE任务。我们提出一个问题：不经过训练来实现零样本信息抽取是否可行？我们将零样本IE任务转变为一个两阶段框架的多轮问答问题（Chat IE）,并在三个IE任务中广泛评估了该框架：实体关系三元组抽取、命名实体识别和事件抽取。在两个语言的6个数据集上的实验结果表明，Chat IE取得了非常好的效果，甚至在几个数据集上（例如NYT11-HRL）上超过了全监督模型的表现。我们的工作能够为有限资源下IE系统的建立奠定基础。 论文地址: https://arxiv.org/pdf/2302.10205.pdf 论文地址: https://github.com/cocacola-lab/ChatIE 介绍 信息抽取目标是从无结构文本中抽取结构化信息，包括实体- ...

本调研报告来源于哈尔滨工业大学自然语言处理研究所

ChatGPT 刚刚出来时，业内人士一致认为高质量的数据是一个非常关键的因素。 且不论这个结论在 ChatGPT 这里是否正确，但高质量的数据对模型大有裨益却是公认的。而且，我们也可以从公开的 InstructGPT 标注指南中对此窥探一二。 本文主要就围绕这份指南进行介绍，主要包括以下几个方面内容： 我们首先会简单介绍 ChatGPT 训练过程中的几个涉及到标注的任务，清楚了任务才能更好地了解标注。然后从宏观角度统领几个方面的设计，包括 数据、人员、规范 等。 标注数据： 包括数据收集、数据分析、数据预处理等。 标注人员： 包括人员筛选、人员特征、满意度调查等。 标注规范： 包括关键指标、标注方法细则、标注示例、FAQ 等。 多想一点： 主要是个人的一些补充和思考。 总体介绍 根据 ChatGPT 博客（相关文献【1】）的介绍，主要是前两个步骤需要标注数据：第一步的有监督微调 SFT（supervised fine-tuning）和 第二步的 RM（Reward Model）。 第一步需要对样本中的 Prompt 编写人工答案，这是高度人工参与过程，而且对标注人员要求很高； 第 ...

近期在 NLP 领域风很大的话题莫过于 Prompt，尤其当大型语言模型（LLM）与其结合，更是拉近了我们与应用领域之间的距离，当 LLM 在包括小样本学习在内的各种任务中表现出非凡的效果和通用性时，也存在着一个问题亟待解决：如何让 LLM 按照我们的要求去做？这也是本篇论文的一个重要出发点。 本文作者将 LLM 视为执行由自然语言指令指定程序的黑盒计算机，并研究如何使用模型生成的指令来控制 LLM 的行为。受经典程序合成和人工提示工程方法的启发，作者提出了自动提示工程师 (Automatic Prompt Engineer, APE) 用于指令自动生成和选择，将指令视为“程序”，通过搜索由 LLM 提出的候选指令池来优化，以使所选的评分函数最大化。 作者通过对 24 个 NLP 任务的实验分析指出，自动生成的指令明显优于先前的 LLM Baseline，且 APE 设计的提示可以用于引导模型真实性和信息量，以及通过简单地将它们预设为标准上下文学习提示来提高小样本学习性能。 论文地址: https://arxiv.org/abs/2211.01910 代码地址: https://gi ...

语言模型正变的越来越大，PaLM有540B的参数量，OPT、GPT-3和BLOOM则大约有176B的参数量，而且我们正朝着更大的模型发展。下图是近些年语言模型的尺寸。 这些模型很难在常用设备上运行。例如，仅仅推理BLOOM-176B就需要8张A00 GPUs(每张80G显存，价格约15k美元)。而为了微调BLOOM-176B则需要72张GPU。PaLM则需要更多的资源。 这些巨型模型需要太多GPUs才能运行，因此需要寻找方法来减少资源需求并保证模型的性能。已经有各种技术用来减小模型尺寸，例如量化、蒸馏等。 在完成BLOOM-176B训练后，HuggingFace和BigScience逐步探索在少量GPU上运行大模型的方法。最终，设计出了Int8量化方法，该方法在不降低大模型性能的情况下，将显存占用降低了1至2倍，并且集成到了Transformers模块中。具体关于LLM.int8内容可参考余下论文： LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale 常用类型 浮点数在机器学习中也被称为"精 ...

LoRA是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3) 通常在为了适应其下游任务的微调中会呈现出巨大开销。 LoRA 建议冻结预训练模型的权重并在每个 Transformer 块中注入可训练层 (秩-分解矩阵)。因为不需要为大多数模型权重计算梯度，所以大大减少了需要训练参数的数量并且降低了 GPU 的内存要求。研究人员发现，通过聚焦大模型的 Transformer 注意力块，使用 LoRA 进行的微调质量与全模型微调相当，同时速度更快且需要更少的计算。 论文地址: https://arxiv.org/pdf/2106.09685.pdf 论文代码: https://github.com/microsoft/LoRA 介绍 LoRA的主要思想是将预训练模型权重冻结，并将可训练的秩分解矩阵注入Transformer架构的每一层，大大减少了下游任务的可训练参数数量。具体来说，它将原始矩阵分解为两个矩阵的乘积，其中一个矩阵的秩比另一个矩阵的秩低。这时只需要运用低秩矩阵来进行运算，这样，可以减少模型参数数量，提高训 ...

ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对LLM的认知及发展理念，距离世界最先进的想法，差得有点远。我属于既惊喜又惊醒的那一批，也是典型的中国人，中国人善于自我反思，于是开始反思，而这篇文章正是反思的结果。 实话实说，国内在LLM模型相关技术方面，此刻，距离最先进技术的差距进一步加大了。技术领先或技术差距这事情，我觉得要动态地以发展的眼光来看。在Bert出现之后的一到两年间，其实国内在这块的技术追赶速度还是很快的，也提出了一些很好的改进模型，差距拉开的分水岭应该是在 GPT 3.0出来之后，也就是2020年年中左右。在当时，其实只有很少的人觉察到：GPT 3.0它不仅仅是一项具体的技术，其实体现的是LLM应该往何处去的一个发展理念。自此之后，差距拉得越来越远，ChatGPT只是这种发展理念差异的一个自然结果。所以，我个人认为，抛开是否有财力做超大型LLM这个因素，如果单从技术角度看，差距主要来自于对LLM的认知以及未来应往何处去的发展理念的不同。 国内被国外技术甩得越来越远， ...

最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是我们自然就有一个问题：ChatGPT 是怎么变得这么强的？它的各种强大的能力到底从何而来？ 在这篇文章中，我们试图剖析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。 Emergent Ability: 突现能力，表示小模型没有，只在模型大到一定程度才会出现的能力 我们希望这篇文章能够促进大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。 致国内的同胞们： 在国际学术界看来，ChatGPT / GPT-3.5 是一种划时代的产物，它与之前常见的语言模型 (Bert/ Bart/ T5) 的区别，几乎是导弹与弓箭的区别，一定要引起最高程度的重视。 在我跟国际同行的交流中，国际上的主流学术机构 ...

最近，人们对大型语言模型所展示的强大能力（例如思维链、便签本）产生了极大的兴趣，并开展了许多工作。我们将之统称为大模型的突现能力，这些能力可能只存在于大型模型中，而不存在于较小的模型中，因此称为“突现”。其中许多能力都非常令人印象深刻，比如复杂推理、知识推理和分布外鲁棒性，我们将在后面详细讨论。值得注意的是，这些能力很接近 NLP 社区几十年来一直寻求的能力，因此代表了一种潜在的研究范式转变，即从微调小模型到使用大模型进行上下文学习。对于先行者来说，范式转变可能是很显然的。然而，出于科学的严谨性，我们确实需要非常明确的理由来说明为什么人们应该转向大型语言模型，即使这些模型昂贵、难以使用，并且效果可能一般。在本文中，我们将仔细研究这些能力是什么，大型语言模型可以提供什么，以及它们在更广泛的 NLP / ML 任务中的潜在优势是什么。 **前提：**我们假设读者具备以下知识： 预训练、精调、提示（普通从业者应具备的自然语言处理/深度学习能力） 思维链提示、便签本（普通从业者可能不太了解，但不影响阅读） 存在于大模型而非小模型的突现能力 在以上的效果图中，我们可以观察到模型的表现： ...

本文探讨了大型语言模型(LLM)产生一个连贯的思维链的能力——一系列的短句子，模仿一个人在回答一个问题时可能拥有的推理过程。通过Chain of Thoughts(CoT，即推理中间过程)，提升大型语言模型(LLM)推理能力，在三个LLM上证明了CoT能够显著提升算术、常识、符号推理能力。 论文地址: https://arxiv.org/pdf/2201.11903.pdf 方法 语言模型的规模达到 100B 的参数量之后，就能够在像情感分类 、主题分类等这种分类任务上取得非常好的结果，作者将这类任务归纳为 system-1，也就是能够人类很快很直观地理解的任务。还有一类任务需要很慢而且是很仔细的考虑，作者将其归纳为 system-2 （比如一些设计逻辑、常识的推理任务），作者发现，即便语言模型的规模达到了几百B的参数量，也很难在 system-2 这类任务上获得很好的表现。 作者将这种现象称为 flat scaling curves：如果将语言模型参数量作为横坐标，在 system-2 这类任务上的表现作为纵坐标，则折线就会变得相当平缓，不会像在 system-1 这类任务上那么容 ...

本速查表基于 git 2.24 书写, 为必填参数, [param] 为选填参数, 使用前建议先看一遍 Pro Git , 请使用ctrl+f进行搜索。 配置 git config --list [–system|–global|–local] 显示当前配置 git config [–system|–global|–local] 设置参数 git config -e [–system|–global|–local] 编辑配置 git config --global alias. “” 创建别名 git 使用别名 git config --global --unset 移除单个变量 git config --global --unset-all 移除所有变量 设置例子 1234567# 设定身份git config --global user.name "cheatsheet"git config --global user.email "cheatsheet@cheatsheet.wang"# 首选编辑器git config - ...

最近几年，以OpenAI公司的GPT3为代表，基于Transformer结构的大模型都已经开始在上百万级别的网页上面训练。因此大家对开放领域语言生成的期待值也越来越高。开放领域的条件语言生成效果也日新月异，例如GPT2、XLNet、CTRL。除了transformers结构和海量的无监督预训练数据，更好的解码方法也在其中扮演了重要角色。 这篇博客简要回顾了多种解码策略，帮助你用transformers库实现他们。 所有的方法都可以通过自回归（auto-regressive）语言生成实现新手导航，简而言之，自回归语言生成就是基于当前的词分布，预测下一个词的概率分布。 P(w1:T∣W0)=∏t=1TP(wt∣w1:t−1,W0),with w1:0=∅P(w_{1:T}|W_0) = \prod_{t=1}^TP(w_t|w_{1:t-1},W_0), with\ w_{1:0}=\emptyset P(w1:T​∣W0​)=t=1∏T​P(wt​∣w1:t−1​,W0​),with w1:0​=∅ 这里W0W_0W0​表示生成前的初始词序列，生成词序列的长度TTT取决于生成概率中P(w ...

本文探讨了一种简单的方法来提高大型语言模型在零样本情况下的性能，名为instruction tuning，它在多个数据集集合上微调语言模型，从而大大提高了未知任务上的零样本性能。本文采用一个137B参数的大型语言模型， 通过自然语言指令模板在60多个NLP数据集上进行instruction tune。本文将这个instruction-tuned模型称为FLAN，并在unseen任务上对模型进行评估。结果表明，FLAN在25个数据集中的20个上超过了零样本学习的175B GPT-3。FLAN甚至在ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA和StoryCloze上都远远优于few-shot小样本学习的GPT-3。消融研究表明，微调数据集的数量、模型规模和自然语言指令是 instruction tuning 成功的关键。 论文地址: https://openreview.net/forum?id=gEZrGCozdqR FLAN Instruction Tuning和Prompt的核心一样，就是去发掘语言模型本身具备的知识。而他们的不同点就在于，Prompt是去激发 ...

从BERT面世的第二天，笔者就实现了BERT用于序列标注的工作，几乎是全网最早的用BERT做序列标注的工作，到今天离线场景下，BERT做序列标注已经成为一种普惠技术。从huggingface开源Transformers的几乎最早的时间开始跟进，复现组内早期基于Tensorflow做中文纠错的工作，之后模型侧的工作基本一直基于该框架完成。从BERT早期的一系列比较fancy的工作一直在跟进，到组内推广Transformers的使用，到如今PyTorch地位飙升，Transformers社区受众极广，BERT几乎是笔者过去很长一段时间经常讨论的话题。 但是，围绕BERT，最为诟病的一个问题：模型太重，inference时间太长，效果好，但是在线场景基本不能使用？ 围绕该问题，学术界和工业界有太多的工作在做。这篇文章简单梳理一些具体的研究方向，同时围绕笔者个人比较感兴趣的一个方向，做一些评测和对比。 那么，具有有哪些研究方向呢？整体上，有两种观察视角。一种是train和inference，另一种是算法侧和工程侧，这里不做具体的区分。 模型大，是慢的一个重要原因，那就换小模型 模型大，通过模 ...

智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。本次分享的主题是QQ浏览器搜索中的智能问答技术。 问答在搜索中的应用 问答的核心是通过理解语言和运用知识来进行提问和回答。从应用角度看，由于人类有获取信息的需求和旺盛的好奇心，问答的场景无处不在；从研究角度看，问答是认知智能的前沿之一。 问答在搜索场景的应用可以分为两类。一类是满足用户的直接搜索需求，即在搜索结果页给用户提供精准的答案，例如Top1问答卡片。另一类是通过问答的方式与用户交互，来帮助用户澄清、细化和延伸需求，例如推荐和对话形式的问答。 搜索中的Top1问答 下图展示了QQ浏览器搜索中Top1问答的一些产品形态，包括短答案、长答案、列表答案、视频答案、集合和图片答案。 搜索问答技术与系统 搜索中问答的明确需求占比接近1/4。这些问题不限领域，不限类型，一般可分成事实类和非事实类。搜索中问答的数据源是多种多样的。从资源类型上看，包括网页、UGC（用户生产内容，如社区问答）和PGC（专业生产内容，例如自媒体号）。从文本的组织形态上来讲，数据可以 ...

简介 本方案由大华DahuaKG团队提供，在本次竞赛中本方案获二等奖。DahuaKG团队由来自浙江大华技术股份有限公司大数据研究院知识图谱团队的成员组成，大华知识图谱团队专注于行业知识图谱构建和自然语言处理等技术的研究与应用，并致力于相关技术在语义检索、信息提取、文本理解、图挖掘、智能交互等任务上完成产业落地，为大华数据智能解决方案提供NLP和知识图谱相关领域的算法支撑。 整体上，我们基于预训练语言模型NeZha构建商品标题实体识别模型，通过继续预训练加微调的训练范式学习模型参数，并有效结合数据增强、损失函数优化、对抗训练等手段逐步提升模型性能。该方案简单有效，复现流程不超过36小时，线上推断1万条样本仅需254秒（NVIDIA T4，单卡）。 赛题介绍 赛题链接：https://www.heywhale.com/home/competition/620b34ed28270b0017b823ad 本赛题要求选手用模型抽取出商品标题文本中的关键信息，是典型的命名实体识别任务。要求准确抽取商品标题中的相关实体，有助于提升检索、推荐等业务场景下的用户体验和平台效率，是电商平台一项核心的基础任 ...

很多初学者同学在投稿的时候经常会出现一些共有的小错误，为了节省大家的时间和帮助大家能够尽快的定位一些小的问题。本项目总结了我们在自己投稿过程中的经验和一些身边老师同学的投稿经验，希望能对大家有所帮助，由于我们的水平有限，如有疏漏，还望谅解。谢谢大家。 本项目的特色： 写前必看：包含一些常见的错误，每个错误均配有例子，可以在动手写论文之前快速浏览。 终稿必查：包含一些例子，方便快速定位是否自己的论文有错误。 百家之言：整理了一些网络上公开的写作资源（并不完全，欢迎补充），方便大家系统学习。 免责声明 本项目列举的所有技巧仅供参考，并不保证正确。本文主要关注于顶会论文，论文写作以实际需求为准。熟悉写作技巧可能会使写作没有明显的失误，而优秀的论文需要不断打磨。 所有内容仅仅来自于笔者的个人经验、互联网数据、笔者团队日常科研工作中的相关积累，以及笔者团队身边各位大佬的言传身教。有任何问题，欢迎提交 Issue 或 PR。另本项目所用徽章来自互联网，如侵犯了您的图片版权请联系我们删除，谢谢。 解释 下文中，标注"Attention"的内容，是目前组织者认为有（较为）明 ...

最近的工作表明，通过对大量文本进行预训练，然后对特定任务进行微调，在许多NLP任务和基准方面取得了实质性进展。虽然这种方法在体系结构中通常是任务无关的，但它仍然需要数千或上万个示例的特定于任务的微调数据集。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务，而当前的NLP系统在很大程度上仍难以做到这一点。在这里，论文展示了扩展语言模型可以极大地提高任务无关性、few-shot性能，有时甚至可以与以前最先进的微调方法相媲美。具体而言，论文训练了GPT-3，这是一个具有1750亿个参数的自回归语言模型，比以往任何非稀疏语言模型都多10倍，并在few-shot设置下测试了其性能。所有任务应用GPT-3模型时均不进行任何梯度更新或微调，而只是通过与模型的文本交互指定任务和少样本学习演示。GPT-3在许多NLP数据集上都取得了很好的性能，包括机器翻译、问答和完形填空任务，以及一些需要即时推理或领域适应的任务，例如解读单词、在句子中使用新单词或执行3位数算术。同时，论文还确定了一些GPT-3的zero-shot学习仍然困难的数据集，以及一些GPT-3面临与大型网络语料库培训相关的 ...

conda 最大的优势在于可以解决依赖，非常省心。例如，当你想安装支持 GPU 版本的 TensorFlow 时，一般需要先安装 TensorFlow，再安装 cuda 框架，最好安装 cudnn 神经网络加速工具。而使用 Conda 安装时，只需要 conda install tensorflow，一切自动搞定。下面主要记录开发过程中涉及的命令： 常用命令 查看安装了哪些包 1conda list 查看当前存在哪些虚拟环境 123conda env list conda info -e# 前面有个‘*’的代表当前环境 检查更新当前conda 1conda update conda Python创建虚拟环境 conda create -n your_env_name python=x.x anaconda命令创建python版本为x.x，名字为your_env_name的虚拟环境。your_env_name文件可以在Anaconda安装目录envs文件下找到。 12#conda create -n your_env_name python=x.xconda create -n ml ...

剧本杀作为爆发式增长的新兴业务，在商家上单、用户选购、供需匹配等方面存在不足，供给标准化能为用户、商家、平台三方创造价值，助力业务增长。本文介绍了美团到店综合业务数据团队从0到1快速建设剧本杀供给标准化的过程及算法方案。我们将美团到店综合知识图谱（GENE，GEneral NEeds net）覆盖至剧本杀行业，构建剧本杀知识图谱实现供给标准化建设，包括剧本杀供给挖掘、标准剧本库构建、供给与标准剧本关联等环节，并在多个场景进行应用落地，希望给大家带来一些帮助或启发。 背景 剧本杀行业近年来呈爆发式增长态势，然而由于剧本杀是新兴行业，平台已有的类目体系和产品形态，越来越难以满足飞速增长的用户和商户需求，主要表现在下面三个方面： 平台类目缺失：平台缺少专门的“剧本杀”类目，中心化流量入口的缺失，导致用户决策路径混乱，难以建立统一的用户认知。 用户决策效率低：剧本杀的核心是剧本，由于缺乏标准的剧本库，也未建立标准剧本和供给的关联关系，导致剧本信息展示和供给管理的规范化程度低，影响了用户对剧本选择决策的效率。 商品上架繁琐：商品信息需要商户人工一一录入，没有可用的标准模板用以信息预填，导致商户 ...

本篇博文我们主要关注prompt模式在半监督学习场景下的应用，特别是针对少量标注和无标注数据。在实际应用环境中，获得高质量的标注数据是比较耗时和昂贵的，往往都是小部分标注数据和大量的无标注数据，半监督学习（Semi-supervised learning，SSL）是一种学习方法，其使用少量标注的数据和大量未标注的数据进行学习，从而得到一个高质量模型。之前prompt应用大部分都是在few-shot下的有监督训练，如LM-BFF，或者结合大量无标注数据下半监督训练，如PET。本文作者提出一种名为SFLM的方法，通过对没有标注的样本（prompt结构）进行弱增强和强增强，首先对弱增强产生的数据通过模型产生伪标签，当模型的预测得分高于一定的阈值时，伪标签作为该样本标签，并与强增强数据模型预测结果进行计算损失。实验结果表明，只依赖于少数领域内的未标注的数据情况下，SFLM在6个句子分类和6个句子对分类基准任务上达到了最好的效果。 论文地址: https://arxiv.org/pdf/2110.01256.pdf 论文源码地址: https://github.com/MatthewCYM/ ...

本篇博文我们主要关注prompt在视觉语言模型中的一个应用。我们知道一个好的prompt需要专业的领域知识以及大量实验进行优化，并且prompt的轻微变化可能会对性能产生巨大的影响。因此在实际应用时主要的挑战是如何对不同的下游任务构建特定的prompt。本文作者提出了一种context optimization（CoOP）的方法，通过构造soft prompt方式，即prompt参数化可学习，结合离散标签使用continuous representation建模上下文，并在保持预训练学习的参数固定的同时从数据中进行端到端学习优化，让网络学习更好的prompt。这样，与任务相关的prompt设计就可以完全自动化了。实验结果表明，CoOP在11个数据集上有效地将预训练的视觉语言模型转化为数据高效的视觉任务学习模型，只需少量样本微调就能击败手工设计的提示符，并且在使用更多样本微调时能够获得显著的性能提升。 论文地址: https://arxiv.org/abs/2109.01134 论文源码地址: https://github.com/KaiyangZhou/CoOp 方法 对于预训练 ...

今天我想要分享的是在工业实践中使用 prompt 的一些实践和心得体会。话不多说，我们直接开始。 初次关注到 prompt 是在去年GPT-3发布之后，我读到了一篇论文，It’ s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners ，了解我的小伙伴都会知道，虽然我是一个预训练语言模型的使用者，甚至生产者，但对于超大规模的语言模型，我一直持相对否定的态度，所以这篇文章的标题就相当吸引我，并且读下来之后，隐隐感觉，将文本理解任务转换为预训练的任务形式，再使用预训练语言模型，去做这个任务，这个思路简直太无懈可击了！利用它，我们可以更轻松地完成很多工作，又不必去面对例如样本类别均衡之类的数据分布上的困扰。 但当时却没有勇气直接应用起来。 到了今年，prompt 成为了一个相当火热的方向，在那篇 prompt 综述[1]出来了之后，我们知道，prompt 已经成气候了，它已经被很多工作验证是有用的了，也终于下定了决心，在我们的项目中尝试使用它，并看一下它到底有多么神奇。用过之后，不得不说，真香 ...

在互联网新零售的大背景下，商品知识图谱作为新零售行业数字化的基石，提供了对于商品相关内容的立体化、智能化、常识化的理解，对上层业务的落地起到了至关重要的作用。相比于美团大脑中围绕商户的知识图谱而言，在新零售背景下的商品知识图谱需要应对更加分散、复杂的数据和业务场景，而这些不同的业务对于底层知识图谱都提出了各自不同的需求和挑战。美团作为互联网行业中新零售的新势力，业务上已覆盖了包括外卖、商超、生鲜、药品等在内的多个新零售领域，技术上在相关的知识图谱方面进行了深入探索。本文将对美团新零售背景下零售商品知识图谱的构建和应用进行介绍。 背景 近年来，人工智能正在快速地改变人们的生活，背后其实有两大技术驱动力：深度学习和知识图谱。我们将深度学习归纳为隐性的模型，它通常是面向某一个具体任务，比如说下围棋、识别猫、人脸识别、语音识别等等。通常而言，在很多任务上它能够取得很优秀的结果，同时它也有一些局限性，比如说它需要海量的训练数据，以及强大的计算能力，难以进行跨任务的迁移，并且不具有较好的可解释性。在另一方面，知识图谱作为显示模型，同样也是人工智能的一大技术驱动力，它能够广泛地适用于不同的任务。相比 ...

近年来，深度神经网络在各个领域都取得了令人瞩目的成功。在训练大规模的模型时，正则化技术是防止模型过拟合现象不可缺少的模块，同时具备提升模型的泛化（generalization）能力，其中，Dropout 是一个常见的正则化技术。本文作者在Dropout方法的基础上提出了一个正则方法R-Drop(Regularized Dropout)，通过在一个batch中，每个数据样本经过两次带有 Dropout 的同一个模型，并使用 KL-divergence 约束两次的输出一致。实验结果表明，R-Drop在5个常用的包含 NLP 和 CV 的任务上（一共18个数据集）取得了不错的效果。 论文地址: https://arxiv.org/pdf/2106.14448.pdf 论文源码地址: https://github.com/dropreg/R-Drop 方法 本文作者提出的R-Drop模型结构如下所示： 具体来说，当给定训练数据D={xi,yi}(i=1)nD=\lbrace x_i,y_i \rbrace_{(i=1)}^nD={xi​,yi​}(i=1)n​ 后，对于每个训练样本 xi ...

尽管基于BERT的模型在诸多NLP任务中取得了不错的性能(通过有监督的Fine-tune)，但其自身计算的句向量(不经过Fine-tune，而是直接通过对所有词向量求平均)往往被约束在一个很小的区域内，表现出很高的相似度（这种现象一般叫做"model Collapse"）, 因而难以反映出两个句子的语义相似度。本文作者提出了一种基于对比学习的句子表示方法ConSERT (a Contrastive Framework for Self-Supervised SEntence Representation Transfer)，通过在目标领域的无监督语料上微调，使模型生成的句子表示与下游任务的数据分布更加适配。实验结果表明，ConSERT在句子语义匹配任务上取得了state-of-the-art结果，并且在少样本场景下仍表现出较强的性能提升。 论文地址: https://arxiv.org/pdf/2105.11741.pdf 论文源码地址: https://github.com/yym6472/ConSERT 介绍 句向量表示学习在自然语言处理(NLP)领域占据重 ...

近年来，将外部词汇信息特征与预训练模型相融合是提高序列标注任务（如NER）效果的重要方法之一，比如FLAT、WC-LSTM等，但是，现有方法仅通过浅层模型表示和随机初始化的序列层融合词汇特征，并未与预训练模型如BERT进行融合。本文作者提出了用于中文序列标签的Lexicon增强BERT（LEBERT），通过一个Lexicon adapter层将外部词汇信息直接融合到BERT层中，与现有方法相比，LEBERT模型有助于在BERT的较低层进行深度词汇知识融合。实验结果表明，该模型在多个中文序列标注任务上取得了state-of-the-art结果。 论文地址: https://arxiv.org/pdf/2105.07148.pdf 论文源码地址: https://github.com/liuwei1206/LEBERT 介绍 常见一种将词汇信息与预训练模型相融合的方案是将预训练模型（如BERT)输出与词汇特征通过一个融合层（比如线性层）得到融合向量。如下图a所示： 本文作者认为该方案并没有充分利用到预训练模型的表示能力，因为外部词汇信息未融合到预训练模型之中，于是提出了另一种融合方案 ...

对比学习(Contrastive Learning)最近一年比较火，各路大神比如Hinton、Yann LeCun、Kaiming He及一流研究机构比如Facebook、Google、DeepMind，都投入其中并快速提出各种改进模型：Moco系列、SimCLR系列、BYOL、SwAV……，各种方法相互借鉴，又各有创新，俨然一场机器学习领域的军备竞赛。对比学习属于无监督或者自监督学习，但是目前多个模型的效果已超过了有监督模型，这样的结果很令人振奋。 我想，NLP领域的Bert模型，对于这波图像领域的对比学习热潮，是具有启发和推动作用的。我们知道，Bert预训练模型，通过MLM任务的自监督学习，充分挖掘了模型从海量无标注文本中学习通用知识的能力。而图像领域的预训练，往往是有监督的，就是用ImageNet来进行预训练，但是在下游任务中Fine-tuning的效果，跟Bert在NLP下游任务中带来的性能提升，是没法比的。 “但是，既然NLP这样做（自监督，无需标注数据）成功了，图像领域难道就不能成功吗？”我相信，追寻这个问题的答案，应该是促使很多人，从图像领域的有监督预训练，向自监督预训练 ...

现有NLP的数据增强大致有两条思路：一个是加噪，另一个是回译，均为有监督方法。加噪即为在原数据的基础上通过替换词、删除词等方式创造和原数据相类似的新数据。回译则是将原有数据翻译为其他语言再翻译回原语言，由于语言逻辑顺序等的不同，回译的方法也往往能够得到和原数据差别较大的新数据。本文借鉴sentence-level的传统数据增强方法，探究了不同的数据增强方法对NER任务的影响，发现：在低资源条件下，数据增强效果增益比较明显，而在充分数据条件下，数据增强可能会带来噪声，导致指标下降。 论文地址: https://arxiv.org/pdf/2010.11683.pdf 论文源码地址: https://github.com/abdulmajee/coling2020-data-augmentation 方法 在本文中，作者借鉴了sentence-level的传统数据增强方法，将传统的文本增强方法应用于NER任务中，并进行全面分析与对比。主要有以下4种数据增强方法（如下图所示）： Label-wise token replacement (LwTR)：即相同标签的token替换，通过一个 ...

本篇博文我们主要关注半监督学习，在实际应用环境中，获得高质量的标注数据是比较耗时和昂贵的，往往都是小部分标注数据和大量的无标注数据，除了高效利用标注数据，还需要将大量的无标注数据发挥出价值。半监督学习（Semi-supervised learning，SSL）是一种学习方法，其使用少量标注的数据和大量未标注的数据进行学习，从而得到一个高质量模型。本文作者提出一种名为FixMatch的半监督学习算法，通过对每一张没有标注的图片进行弱增强和强增强，首先对弱增强产生的数据通过模型产生伪标签，当模型的预测得分高于一定的阈值时，伪标签作为该样本标签，并与强增强数据模型预测结果进行计算损失。实验结果表明，FixMatch在众多的半监督学习方法中达到了最好的效果。仅用了250张标注数据，在CIFAR-10数据集上达到了94.93%的准确率；仅用了40张标注数据，在CIFAR-10数据集上达到了88.61%的准确率（每个标签仅4张标注数据）。 论文地址: https://arxiv.org/abs/2001.07685 论文源码地址: https://github.com/google-resear ...