闲记算法

在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬)，并将持续更新… 最新的模型汇总地址github： https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models Expand Table of Contents 更新日志 LLM ChatLLM 开源模型库平台 开源数据集库 NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE ERNIE3 RoFormer StructBERT Lattice-BERT Mengzi-BERT ChineseBERT TaCL MC-BERT 二郎神 PERT MobileBERT GAU-α DeBERTa GlyphBERT CKBERT LERT RoCBert NLG系列 GPT GPT-3 NEZHA-GEN CPM-Gen ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-06-02) 今日共更新518篇论文,其中: 91篇自然语言处理（NLP: cs.CL) 128篇计算机视觉(CV: cs.CV) 146篇机器学习(ML: cs.LG) 29篇人工智能(AI: cs.AI) 1篇信息检索(IR: cs.IR) 其它主题123篇 自然语言处理 NLP-0-标题: AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration 链接: https://arxiv.org/abs/2 ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-06-01) 今日共更新427篇论文,其中: 75篇自然语言处理（NLP: cs.CL) 88篇计算机视觉(CV: cs.CV) 137篇机器学习(ML: cs.LG) 13篇人工智能(AI: cs.AI) 3篇信息检索(IR: cs.IR) 其它主题111篇 自然语言处理 NLP-0-标题: Improving CLIP Training with Language Rewrites 链接: https://arxiv.org/abs/2305.20088 作者: Lijie Fan, Dilip K ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-05-31) 今日共更新586篇论文,其中: 111篇自然语言处理（NLP: cs.CL) 119篇计算机视觉(CV: cs.CV) 213篇机器学习(ML: cs.LG) 22篇人工智能(AI: cs.AI) 4篇信息检索(IR: cs.IR) 其它主题117篇 自然语言处理 NLP-0-标题: Concise Answers to Complex Questions: Summarization of Long-form Answers ACL2023 链接: https://arxiv.org/ab ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-05-30) 今日共更新619篇论文,其中: 157篇自然语言处理（NLP: cs.CL) 139篇计算机视觉(CV: cs.CV) 116篇机器学习(ML: cs.LG) 39篇人工智能(AI: cs.AI) 2篇信息检索(IR: cs.IR) 其它主题166篇 自然语言处理 NLP-0-标题: Transformer Language Models Handle Word Frequency in Prediction Head ACL2023 链接: https://arxiv.org/abs ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-05-29) 今日共更新471篇论文,其中: 138篇自然语言处理（NLP: cs.CL) 70篇计算机视觉(CV: cs.CV) 130篇机器学习(ML: cs.LG) 16篇人工智能(AI: cs.AI) 6篇信息检索(IR: cs.IR) 其它主题111篇 自然语言处理 NLP-0-标题: RAMP: Retrieval and Attribute-Marking Enhanced Prompt ing for Attribute-Controlled Translation ACL2023 链 ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-05-26) 今日共更新476篇论文,其中: 83篇自然语言处理（NLP: cs.CL) 106篇计算机视觉(CV: cs.CV) 142篇机器学习(ML: cs.LG) 29篇人工智能(AI: cs.AI) 2篇信息检索(IR: cs.IR) 其它主题114篇 自然语言处理 NLP-0-标题: IndicTrans2: Towards High-Quality and Accessible Machine Translation Models for all 22 Scheduled Indian Lang ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-05-25) 今日共更新691篇论文,其中: 279篇自然语言处理（NLP: cs.CL) 122篇计算机视觉(CV: cs.CV) 137篇机器学习(ML: cs.LG) 18篇人工智能(AI: cs.AI) 8篇信息检索(IR: cs.IR) 其它主题127篇 自然语言处理 NLP-0-标题: Towards Revealing the Mystery behind Chain of Thought: a Theoretical Perspective 链接: https://arxiv.org/ab ...

深度学习调优指南中文版 这不是官方认证的 Google 产品。 Varun Godbole † , George E. Dahl † , Justin Gilmer † , Christopher J. Shallue ‡ , Zachary Nado † † 谷歌研究，谷歌大脑团队 ‡ 哈佛大学 备注：感谢开源大佬提供中文材料 中文版地址 英文版地址

近期，ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络，通过极大规模的数据进行自监督训练。但是，如何构建自监督训练数据？在基础的Transformer结构上，大家又做了哪些创新呢？为了保证训练过程高效且稳定，又有哪些黑科技呢？今天给大家介绍一篇来自人民大学的综述论文，为大家解密这些大模型的训练技巧。 论文地址: http://arxiv.org/abs/2303.18223 相关资源参考: https://github.com/RUCAIBox/LLMSurvey 训练数据的收集与处理 大规模语言模型对训练数据的规模与质量都有更高的要求。那现在的大模型都用了什么语料？这些语料都发挥着怎样的作用？如何对语料做清洗和预处理？大模型还有什么特殊的细节需要我们去处理？ 数据来源 数据来源上，大规模语言模型的训练数据可以一般性语料与特殊语料。一般性语料，如网页、书籍、对话文本，占比较大，可以在各种话题上为模型提供语言知识；而特殊语料， ...

注1：本文整理自我在今年3 月 11 日 “中国人工智能学会”主办的「ChatGPT 及大模型专题研讨会」上《大型语言模型的涌现能力：现象与解释》的现场分享，介绍了大语言模型中的涌现现象，以及关于涌现能力背后原因的相关猜想。感谢CSDN帮助整理的文字稿。 注2:另，有人问了，既然很多自然现象也体现出涌现能力，那么大语言模型的涌现现象需要解释吗？我个人认为是需要的。毕竟，说大语言模型的某个特殊现象属于“涌现现象”，也是被个别研究提出来，未有确切证明或证据，是否它和自然现象中出现的涌现现象内在机制是类似或一样的，其实可以存疑。而且我认为大模型的这个现象，背后应该有些我们可以理解的原因。如果我们不追求现象背后的解释，仅仅把目前解释不了的现象统一归类为涌现或者其它什么概念，就此了之。那么，其实我们也可以把大模型的目前理解不了的很多现象，统一归类为这是一种“神迹”，那世界上很多事情就简单多了。另另，用Grokking解释涌现现象，尽管我把它称为”用玄学解释玄学“，但是觉得还是值得深入探索的方向，也许可以把上面的说法，优化为”用含玄量较低的玄学解释另外一个含玄量较高的玄学“。 注3:如果仔细分析的 ...

博客内容来自于最新书籍《The Art of Asking ChatGPT for High-Quality Answers: A complete Guide to Prompt Engineering Techniques》。本书是一本综合性的指南，目的是帮助您理解和利用各种提示技术，以便从ChatGPT中获得高质量的答案。 最新可参考: https://github.com/f/awesome-chatgpt-prompts 接下来我们将探索如何用不同的提示技术去完成不同的目的。ChatGPT 是目前最先进的、能够生成类似人类文本的语言模型。然而，了解向ChatGPT提问的正确方式，以获得我们所期望的高质量答案，是至关重要的。 这就是本书的目的：无论你是一个普通人、研究员、开发者，或者是仅仅想把ChatGPT当成自己工作的个人助理，这本书都适合你。书中使用通俗易懂的语言解释，并且辅以实例和提问技巧的公式。通过这本书，你将学会如何使用提示技巧来控制ChatGPT的输出，让其按照你的需求生成文本。 在本书中，我还提供了一些如何综合利用不同提示技巧，以达到特定目的的例子。希望这本书能 ...

Hugging Face仓库中大模型包含文件不止一个，本文将会介绍如何使用git进行批量下载。 Hugging Face官网：https://huggingface.co Hugging Face的基本操作：https://huggingface.co/welcome 环境配置 由于Hugging Face的部分模型和数据集在国外服务器，不使用代理比较慢，所以要先配置git代理。 代理配置 全局代理配置方式： 1git config --global https.proxy http://xxxxxx:xxxx 只对clone使用代理的配置方式： 1git clone XXX.git -c http.proxy="http://xxxxxx:xxxx" lfs安装 如果想命令行快速下载模型，需要提前安装好git-lfs环境。Ubuntu环境安装命令如下： 1sudo apt-get install git-lfs 主要用法: 12git lfs installgit lfs clone https://huggingface.co/${userna ...

我们很高兴正式发布 trl 与 peft 的集成，使任何人都可以更轻松地使用强化学习进行大型语言模型 (LLM) 微调！在这篇文章中，我们解释了为什么这是现有微调方法的有竞争力的替代方案。 请注意， peft 是一种通用工具，可以应用于许多 ML 用例，但对于RLHF来说特别有趣，因为这种方法特别耗费内存！ 如果你想直接深入研究代码，请直接在 TRL 的文档页面 直接查看示例脚本。 TRL 的文档页面 介绍 LLMs & RLHF LLM 结合 RLHF (人类反馈强化学习) 似乎是构建非常强大的 AI 系统 (例如 ChatGPT) 的下一个首选方法。 使用 RLHF 训练语言模型通常包括以下三个步骤: 在特定领域或指令和人类示范语料库上微调预训练的 LLM; 收集人类标注的数据集，训练一个奖励模型; 使用 RL (例如 PPO)，用此数据集和奖励模型进一步微调步骤 1 中的 LLM。 具体可详细了解OpenAI 的 ChatGPT 博文 OpenAI 的 ChatGPT 博文 基础 LLM 的选择在这里是至关重要的。在撰写本文时，可以“开箱即用”地用于许多任 ...

BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。 LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型；(2) 推理速度太慢。本文初步整理了一些推理大模型的工具和代码，并简单测试了推理速度。下面是本文测试的一些背景： 目前是2023年2月 使用7B模型bloom-7b1-mt 4张3090(但在实际推理中仅使用2张3090) 依赖包的版本 transformers==4.26.0 tensor-parallel==1.0.24 deepspeed==0.7.7 bminf==2.0.1 辅助函数 12345678910111213141516171819202122232425262728# utils.pyimport numpy as npfrom time import perf_counter# per ...

假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前 …… 且慢！训练可不仅仅像这两个字的发音那么简单，看看 BLOOM 的训练或许对你有帮助。 近年来，语言模型越训越大已成为常态。大家通常会诟病这些大模型本身的信息未被公开以供研究，但很少关注大模型训练技术这种背后的知识。本文旨在以 1760 亿参数的语言模型 BLOOM 为例，阐明训练此类模型背后的软硬件工程和技术要点，以促进大家对大模型训练技术的讨论。 BLOOM 文档链接 首先，我们要感谢促成或赞助我们这个小组最终完成了训练 1760 亿参数模型这一惊人壮举的公司、个人和团体。 然后，我们开始讨论硬件配置和主要技术组件。以下是对本项目的简要总结: 硬件 384 张 80GB A100 GPU 软件 Megatron-DeepSpeed 模型架构 基于 GPT3 数据集 含 59 种语言，共 3500 亿词元 训练时长 3.5 个月 人员组成 该项目由 Thomas Wolf (Hugging Face 联合创始人兼 CSO) ...

零样本信息抽取（Information Extraction，IE）旨在从无标注文本中建立IE系统，因为很少涉及人为干预，该问题非常具有挑战性。但零样本IE不再需要标注数据时耗费的时间和人力，因此十分重要。近来的大规模语言模型（例如GPT-3，Chat GPT）在零样本情况下取得了很好的表现，这启发我们探索基于Prompt的方法来解决零样本IE任务。我们提出一个问题：不经过训练来实现零样本信息抽取是否可行？我们将零样本IE任务转变为一个两阶段框架的多轮问答问题（Chat IE）,并在三个IE任务中广泛评估了该框架：实体关系三元组抽取、命名实体识别和事件抽取。在两个语言的6个数据集上的实验结果表明，Chat IE取得了非常好的效果，甚至在几个数据集上（例如NYT11-HRL）上超过了全监督模型的表现。我们的工作能够为有限资源下IE系统的建立奠定基础。 论文地址: https://arxiv.org/pdf/2302.10205.pdf 论文地址: https://github.com/cocacola-lab/ChatIE 介绍 信息抽取目标是从无结构文本中抽取结构化信息，包括实体- ...

本调研报告来源于哈尔滨工业大学自然语言处理研究所

扩大语言模型的规模已被证明可以提高性能并释放出新的能力。或许，也存在某些任务的结果会因模型规模的增加反而变得糟糕。这类任务被称为 Inverse Scaling，它们可以指示出训练数据或优化目标是否存在某种缺陷。 本文着眼于这些Inverse Scaling任务。作者评估了多达540B参数的模型，其训练计算量是Inverse Scaling Prize中评估的五倍。通过增加模型大小和训练计算量的范围，只有11个任务中的4个仍然是反比例缩放。其中11项任务中有6项表现出我们所谓的“U形缩放”—性能先是随着模型规模增大降到一定程度，然后随着模型的增大性能再次上升（剩余一项任务显示正向缩放）。 论文地址: https://arxiv.org/pdf/2211.02011.pdf 方法 在论文中，作者对这11个任务的缩放表现进行了详细研究。结果如下： 所有11项任务的PaLM结果如上图所示，可以看到在PaLM 540B模型后，11项任务中的只有4项保持反比例缩放。其中6个任务从反比例缩放变为U形曲线，而一个任务（Repetitive Algebra）则显示出与PaLM正相关的趋势。这种广泛 ...

ChatGPT 刚刚出来时，业内人士一致认为高质量的数据是一个非常关键的因素。 且不论这个结论在 ChatGPT 这里是否正确，但高质量的数据对模型大有裨益却是公认的。而且，我们也可以从公开的 InstructGPT 标注指南中对此窥探一二。 本文主要就围绕这份指南进行介绍，主要包括以下几个方面内容： 我们首先会简单介绍 ChatGPT 训练过程中的几个涉及到标注的任务，清楚了任务才能更好地了解标注。然后从宏观角度统领几个方面的设计，包括 数据、人员、规范 等。 标注数据： 包括数据收集、数据分析、数据预处理等。 标注人员： 包括人员筛选、人员特征、满意度调查等。 标注规范： 包括关键指标、标注方法细则、标注示例、FAQ 等。 多想一点： 主要是个人的一些补充和思考。 总体介绍 根据 ChatGPT 博客（相关文献【1】）的介绍，主要是前两个步骤需要标注数据：第一步的有监督微调 SFT（supervised fine-tuning）和 第二步的 RM（Reward Model）。 第一步需要对样本中的 Prompt 编写人工答案，这是高度人工参与过程，而且对标注人员要求很高； 第 ...

近期在 NLP 领域风很大的话题莫过于 Prompt，尤其当大型语言模型（LLM）与其结合，更是拉近了我们与应用领域之间的距离，当 LLM 在包括小样本学习在内的各种任务中表现出非凡的效果和通用性时，也存在着一个问题亟待解决：如何让 LLM 按照我们的要求去做？这也是本篇论文的一个重要出发点。 本文作者将 LLM 视为执行由自然语言指令指定程序的黑盒计算机，并研究如何使用模型生成的指令来控制 LLM 的行为。受经典程序合成和人工提示工程方法的启发，作者提出了自动提示工程师 (Automatic Prompt Engineer, APE) 用于指令自动生成和选择，将指令视为“程序”，通过搜索由 LLM 提出的候选指令池来优化，以使所选的评分函数最大化。 作者通过对 24 个 NLP 任务的实验分析指出，自动生成的指令明显优于先前的 LLM Baseline，且 APE 设计的提示可以用于引导模型真实性和信息量，以及通过简单地将它们预设为标准上下文学习提示来提高小样本学习性能。 论文地址: https://arxiv.org/abs/2211.01910 代码地址: https://gi ...

语言模型正变的越来越大，PaLM有540B的参数量，OPT、GPT-3和BLOOM则大约有176B的参数量，而且我们正朝着更大的模型发展。下图是近些年语言模型的尺寸。 这些模型很难在常用设备上运行。例如，仅仅推理BLOOM-176B就需要8张A00 GPUs(每张80G显存，价格约15k美元)。而为了微调BLOOM-176B则需要72张GPU。PaLM则需要更多的资源。 这些巨型模型需要太多GPUs才能运行，因此需要寻找方法来减少资源需求并保证模型的性能。已经有各种技术用来减小模型尺寸，例如量化、蒸馏等。 在完成BLOOM-176B训练后，HuggingFace和BigScience逐步探索在少量GPU上运行大模型的方法。最终，设计出了Int8量化方法，该方法在不降低大模型性能的情况下，将显存占用降低了1至2倍，并且集成到了Transformers模块中。具体关于LLM.int8内容可参考余下论文： LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale 常用类型 浮点数在机器学习中也被称为"精 ...

LoRA是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3) 通常在为了适应其下游任务的微调中会呈现出巨大开销。 LoRA 建议冻结预训练模型的权重并在每个 Transformer 块中注入可训练层 (秩-分解矩阵)。因为不需要为大多数模型权重计算梯度，所以大大减少了需要训练参数的数量并且降低了 GPU 的内存要求。研究人员发现，通过聚焦大模型的 Transformer 注意力块，使用 LoRA 进行的微调质量与全模型微调相当，同时速度更快且需要更少的计算。 论文地址: https://arxiv.org/pdf/2106.09685.pdf 论文代码: https://github.com/microsoft/LoRA 介绍 LoRA的主要思想是将预训练模型权重冻结，并将可训练的秩分解矩阵注入Transformer架构的每一层，大大减少了下游任务的可训练参数数量。具体来说，它将原始矩阵分解为两个矩阵的乘积，其中一个矩阵的秩比另一个矩阵的秩低。这时只需要运用低秩矩阵来进行运算，这样，可以减少模型参数数量，提高训 ...

OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式：RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。 过去几年里各种 LLM 根据人类输入提示 (prompt) 生成多样化文本的能力令人印象深刻。然而，对生成结果的评估是主观和依赖上下文的，例如，我们希望模型生成一个有创意的故事、一段真实的信息性文本，或者是可执行的代码片段，这些结果难以用现有的基于规则的文本生成指标 (如 BLUE 和 ROUGE) 来衡量。除了评估指标，现有的模型通常以预测下一个单词的方式和简单的损失函数 (如交叉熵) 来建模，没有显式地引入人的偏好和主观意见。 如果我们 用生成文本的人工反馈作为性能衡量标准，或者更进一步用该反馈作为损失来优化模型，那不是更好吗？这就是 RLHF 的思想：使用强化学习的方式直接优化带有人类反馈的语言模型。RL ...

ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对LLM的认知及发展理念，距离世界最先进的想法，差得有点远。我属于既惊喜又惊醒的那一批，也是典型的中国人，中国人善于自我反思，于是开始反思，而这篇文章正是反思的结果。 实话实说，国内在LLM模型相关技术方面，此刻，距离最先进技术的差距进一步加大了。技术领先或技术差距这事情，我觉得要动态地以发展的眼光来看。在Bert出现之后的一到两年间，其实国内在这块的技术追赶速度还是很快的，也提出了一些很好的改进模型，差距拉开的分水岭应该是在 GPT 3.0出来之后，也就是2020年年中左右。在当时，其实只有很少的人觉察到：GPT 3.0它不仅仅是一项具体的技术，其实体现的是LLM应该往何处去的一个发展理念。自此之后，差距拉得越来越远，ChatGPT只是这种发展理念差异的一个自然结果。所以，我个人认为，抛开是否有财力做超大型LLM这个因素，如果单从技术角度看，差距主要来自于对LLM的认知以及未来应往何处去的发展理念的不同。 国内被国外技术甩得越来越远， ...

最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是我们自然就有一个问题：ChatGPT 是怎么变得这么强的？它的各种强大的能力到底从何而来？ 在这篇文章中，我们试图剖析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。 Emergent Ability: 突现能力，表示小模型没有，只在模型大到一定程度才会出现的能力 我们希望这篇文章能够促进大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。 致国内的同胞们： 在国际学术界看来，ChatGPT / GPT-3.5 是一种划时代的产物，它与之前常见的语言模型 (Bert/ Bart/ T5) 的区别，几乎是导弹与弓箭的区别，一定要引起最高程度的重视。 在我跟国际同行的交流中，国际上的主流学术机构 ...

最近，人们对大型语言模型所展示的强大能力（例如思维链、便签本）产生了极大的兴趣，并开展了许多工作。我们将之统称为大模型的突现能力，这些能力可能只存在于大型模型中，而不存在于较小的模型中，因此称为“突现”。其中许多能力都非常令人印象深刻，比如复杂推理、知识推理和分布外鲁棒性，我们将在后面详细讨论。值得注意的是，这些能力很接近 NLP 社区几十年来一直寻求的能力，因此代表了一种潜在的研究范式转变，即从微调小模型到使用大模型进行上下文学习。对于先行者来说，范式转变可能是很显然的。然而，出于科学的严谨性，我们确实需要非常明确的理由来说明为什么人们应该转向大型语言模型，即使这些模型昂贵、难以使用，并且效果可能一般。在本文中，我们将仔细研究这些能力是什么，大型语言模型可以提供什么，以及它们在更广泛的 NLP / ML 任务中的潜在优势是什么。 **前提：**我们假设读者具备以下知识： 预训练、精调、提示（普通从业者应具备的自然语言处理/深度学习能力） 思维链提示、便签本（普通从业者可能不太了解，但不影响阅读） 存在于大模型而非小模型的突现能力 在以上的效果图中，我们可以观察到模型的表现： ...

本文探讨了大型语言模型(LLM)产生一个连贯的思维链的能力——一系列的短句子，模仿一个人在回答一个问题时可能拥有的推理过程。通过Chain of Thoughts(CoT，即推理中间过程)，提升大型语言模型(LLM)推理能力，在三个LLM上证明了CoT能够显著提升算术、常识、符号推理能力。 论文地址: https://arxiv.org/pdf/2201.11903.pdf 方法 语言模型的规模达到 100B 的参数量之后，就能够在像情感分类 、主题分类等这种分类任务上取得非常好的结果，作者将这类任务归纳为 system-1，也就是能够人类很快很直观地理解的任务。还有一类任务需要很慢而且是很仔细的考虑，作者将其归纳为 system-2 （比如一些设计逻辑、常识的推理任务），作者发现，即便语言模型的规模达到了几百B的参数量，也很难在 system-2 这类任务上获得很好的表现。 作者将这种现象称为 flat scaling curves：如果将语言模型参数量作为横坐标，在 system-2 这类任务上的表现作为纵坐标，则折线就会变得相当平缓，不会像在 system-1 这类任务上那么容 ...

本速查表基于 git 2.24 书写, 为必填参数, [param] 为选填参数, 使用前建议先看一遍 Pro Git , 请使用ctrl+f进行搜索。 配置 git config --list [–system|–global|–local] 显示当前配置 git config [–system|–global|–local] 设置参数 git config -e [–system|–global|–local] 编辑配置 git config --global alias. “” 创建别名 git 使用别名 git config --global --unset 移除单个变量 git config --global --unset-all 移除所有变量 设置例子 1234567# 设定身份git config --global user.name "cheatsheet"git config --global user.email "cheatsheet@cheatsheet.wang"# 首选编辑器git config - ...

最近几年，以OpenAI公司的GPT3为代表，基于Transformer结构的大模型都已经开始在上百万级别的网页上面训练。因此大家对开放领域语言生成的期待值也越来越高。开放领域的条件语言生成效果也日新月异，例如GPT2、XLNet、CTRL。除了transformers结构和海量的无监督预训练数据，更好的解码方法也在其中扮演了重要角色。 这篇博客简要回顾了多种解码策略，帮助你用transformers库实现他们。 所有的方法都可以通过自回归（auto-regressive）语言生成实现新手导航，简而言之，自回归语言生成就是基于当前的词分布，预测下一个词的概率分布。 P(w1:T∣W0)=∏t=1TP(wt∣w1:t−1,W0),with w1:0=∅P(w_{1:T}|W_0) = \prod_{t=1}^TP(w_t|w_{1:t-1},W_0), with\ w_{1:0}=\emptyset P(w1:T​∣W0​)=t=1∏T​P(wt​∣w1:t−1​,W0​),with w1:0​=∅ 这里W0W_0W0​表示生成前的初始词序列，生成词序列的长度TTT取决于生成概率中P(w ...

本文探讨了一种简单的方法来提高大型语言模型在零样本情况下的性能，名为instruction tuning，它在多个数据集集合上微调语言模型，从而大大提高了未知任务上的零样本性能。本文采用一个137B参数的大型语言模型， 通过自然语言指令模板在60多个NLP数据集上进行instruction tune。本文将这个instruction-tuned模型称为FLAN，并在unseen任务上对模型进行评估。结果表明，FLAN在25个数据集中的20个上超过了零样本学习的175B GPT-3。FLAN甚至在ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA和StoryCloze上都远远优于few-shot小样本学习的GPT-3。消融研究表明，微调数据集的数量、模型规模和自然语言指令是 instruction tuning 成功的关键。 论文地址: https://openreview.net/forum?id=gEZrGCozdqR FLAN Instruction Tuning和Prompt的核心一样，就是去发掘语言模型本身具备的知识。而他们的不同点就在于，Prompt是去激发 ...

从BERT面世的第二天，笔者就实现了BERT用于序列标注的工作，几乎是全网最早的用BERT做序列标注的工作，到今天离线场景下，BERT做序列标注已经成为一种普惠技术。从huggingface开源Transformers的几乎最早的时间开始跟进，复现组内早期基于Tensorflow做中文纠错的工作，之后模型侧的工作基本一直基于该框架完成。从BERT早期的一系列比较fancy的工作一直在跟进，到组内推广Transformers的使用，到如今PyTorch地位飙升，Transformers社区受众极广，BERT几乎是笔者过去很长一段时间经常讨论的话题。 但是，围绕BERT，最为诟病的一个问题：模型太重，inference时间太长，效果好，但是在线场景基本不能使用？ 围绕该问题，学术界和工业界有太多的工作在做。这篇文章简单梳理一些具体的研究方向，同时围绕笔者个人比较感兴趣的一个方向，做一些评测和对比。 那么，具有有哪些研究方向呢？整体上，有两种观察视角。一种是train和inference，另一种是算法侧和工程侧，这里不做具体的区分。 模型大，是慢的一个重要原因，那就换小模型 模型大，通过模 ...

智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。本次分享的主题是QQ浏览器搜索中的智能问答技术。 问答在搜索中的应用 问答的核心是通过理解语言和运用知识来进行提问和回答。从应用角度看，由于人类有获取信息的需求和旺盛的好奇心，问答的场景无处不在；从研究角度看，问答是认知智能的前沿之一。 问答在搜索场景的应用可以分为两类。一类是满足用户的直接搜索需求，即在搜索结果页给用户提供精准的答案，例如Top1问答卡片。另一类是通过问答的方式与用户交互，来帮助用户澄清、细化和延伸需求，例如推荐和对话形式的问答。 搜索中的Top1问答 下图展示了QQ浏览器搜索中Top1问答的一些产品形态，包括短答案、长答案、列表答案、视频答案、集合和图片答案。 搜索问答技术与系统 搜索中问答的明确需求占比接近1/4。这些问题不限领域，不限类型，一般可分成事实类和非事实类。搜索中问答的数据源是多种多样的。从资源类型上看，包括网页、UGC（用户生产内容，如社区问答）和PGC（专业生产内容，例如自媒体号）。从文本的组织形态上来讲，数据可以 ...

简介 本方案由大华DahuaKG团队提供，在本次竞赛中本方案获二等奖。DahuaKG团队由来自浙江大华技术股份有限公司大数据研究院知识图谱团队的成员组成，大华知识图谱团队专注于行业知识图谱构建和自然语言处理等技术的研究与应用，并致力于相关技术在语义检索、信息提取、文本理解、图挖掘、智能交互等任务上完成产业落地，为大华数据智能解决方案提供NLP和知识图谱相关领域的算法支撑。 整体上，我们基于预训练语言模型NeZha构建商品标题实体识别模型，通过继续预训练加微调的训练范式学习模型参数，并有效结合数据增强、损失函数优化、对抗训练等手段逐步提升模型性能。该方案简单有效，复现流程不超过36小时，线上推断1万条样本仅需254秒（NVIDIA T4，单卡）。 赛题介绍 赛题链接：https://www.heywhale.com/home/competition/620b34ed28270b0017b823ad 本赛题要求选手用模型抽取出商品标题文本中的关键信息，是典型的命名实体识别任务。要求准确抽取商品标题中的相关实体，有助于提升检索、推荐等业务场景下的用户体验和平台效率，是电商平台一项核心的基础任 ...

很多初学者同学在投稿的时候经常会出现一些共有的小错误，为了节省大家的时间和帮助大家能够尽快的定位一些小的问题。本项目总结了我们在自己投稿过程中的经验和一些身边老师同学的投稿经验，希望能对大家有所帮助，由于我们的水平有限，如有疏漏，还望谅解。谢谢大家。 本项目的特色： 写前必看：包含一些常见的错误，每个错误均配有例子，可以在动手写论文之前快速浏览。 终稿必查：包含一些例子，方便快速定位是否自己的论文有错误。 百家之言：整理了一些网络上公开的写作资源（并不完全，欢迎补充），方便大家系统学习。 免责声明 本项目列举的所有技巧仅供参考，并不保证正确。本文主要关注于顶会论文，论文写作以实际需求为准。熟悉写作技巧可能会使写作没有明显的失误，而优秀的论文需要不断打磨。 所有内容仅仅来自于笔者的个人经验、互联网数据、笔者团队日常科研工作中的相关积累，以及笔者团队身边各位大佬的言传身教。有任何问题，欢迎提交 Issue 或 PR。另本项目所用徽章来自互联网，如侵犯了您的图片版权请联系我们删除，谢谢。 解释 下文中，标注"Attention"的内容，是目前组织者认为有（较为）明 ...

最近的工作表明，通过对大量文本进行预训练，然后对特定任务进行微调，在许多NLP任务和基准方面取得了实质性进展。虽然这种方法在体系结构中通常是任务无关的，但它仍然需要数千或上万个示例的特定于任务的微调数据集。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务，而当前的NLP系统在很大程度上仍难以做到这一点。在这里，论文展示了扩展语言模型可以极大地提高任务无关性、few-shot性能，有时甚至可以与以前最先进的微调方法相媲美。具体而言，论文训练了GPT-3，这是一个具有1750亿个参数的自回归语言模型，比以往任何非稀疏语言模型都多10倍，并在few-shot设置下测试了其性能。所有任务应用GPT-3模型时均不进行任何梯度更新或微调，而只是通过与模型的文本交互指定任务和少样本学习演示。GPT-3在许多NLP数据集上都取得了很好的性能，包括机器翻译、问答和完形填空任务，以及一些需要即时推理或领域适应的任务，例如解读单词、在句子中使用新单词或执行3位数算术。同时，论文还确定了一些GPT-3的zero-shot学习仍然困难的数据集，以及一些GPT-3面临与大型网络语料库培训相关的 ...

conda 最大的优势在于可以解决依赖，非常省心。例如，当你想安装支持 GPU 版本的 TensorFlow 时，一般需要先安装 TensorFlow，再安装 cuda 框架，最好安装 cudnn 神经网络加速工具。而使用 Conda 安装时，只需要 conda install tensorflow，一切自动搞定。下面主要记录开发过程中涉及的命令： 常用命令 查看安装了哪些包 1conda list 查看当前存在哪些虚拟环境 123conda env list conda info -e# 前面有个‘*’的代表当前环境 检查更新当前conda 1conda update conda Python创建虚拟环境 conda create -n your_env_name python=x.x anaconda命令创建python版本为x.x，名字为your_env_name的虚拟环境。your_env_name文件可以在Anaconda安装目录envs文件下找到。 12#conda create -n your_env_name python=x.xconda create -n ml ...

剧本杀作为爆发式增长的新兴业务，在商家上单、用户选购、供需匹配等方面存在不足，供给标准化能为用户、商家、平台三方创造价值，助力业务增长。本文介绍了美团到店综合业务数据团队从0到1快速建设剧本杀供给标准化的过程及算法方案。我们将美团到店综合知识图谱（GENE，GEneral NEeds net）覆盖至剧本杀行业，构建剧本杀知识图谱实现供给标准化建设，包括剧本杀供给挖掘、标准剧本库构建、供给与标准剧本关联等环节，并在多个场景进行应用落地，希望给大家带来一些帮助或启发。 背景 剧本杀行业近年来呈爆发式增长态势，然而由于剧本杀是新兴行业，平台已有的类目体系和产品形态，越来越难以满足飞速增长的用户和商户需求，主要表现在下面三个方面： 平台类目缺失：平台缺少专门的“剧本杀”类目，中心化流量入口的缺失，导致用户决策路径混乱，难以建立统一的用户认知。 用户决策效率低：剧本杀的核心是剧本，由于缺乏标准的剧本库，也未建立标准剧本和供给的关联关系，导致剧本信息展示和供给管理的规范化程度低，影响了用户对剧本选择决策的效率。 商品上架繁琐：商品信息需要商户人工一一录入，没有可用的标准模板用以信息预填，导致商户 ...

本篇博文我们主要关注prompt模式在半监督学习场景下的应用，特别是针对少量标注和无标注数据。在实际应用环境中，获得高质量的标注数据是比较耗时和昂贵的，往往都是小部分标注数据和大量的无标注数据，半监督学习（Semi-supervised learning，SSL）是一种学习方法，其使用少量标注的数据和大量未标注的数据进行学习，从而得到一个高质量模型。之前prompt应用大部分都是在few-shot下的有监督训练，如LM-BFF，或者结合大量无标注数据下半监督训练，如PET。本文作者提出一种名为SFLM的方法，通过对没有标注的样本（prompt结构）进行弱增强和强增强，首先对弱增强产生的数据通过模型产生伪标签，当模型的预测得分高于一定的阈值时，伪标签作为该样本标签，并与强增强数据模型预测结果进行计算损失。实验结果表明，只依赖于少数领域内的未标注的数据情况下，SFLM在6个句子分类和6个句子对分类基准任务上达到了最好的效果。 论文地址: https://arxiv.org/pdf/2110.01256.pdf 论文源码地址: https://github.com/MatthewCYM/ ...

本篇博文我们主要关注prompt在视觉语言模型中的一个应用。我们知道一个好的prompt需要专业的领域知识以及大量实验进行优化，并且prompt的轻微变化可能会对性能产生巨大的影响。因此在实际应用时主要的挑战是如何对不同的下游任务构建特定的prompt。本文作者提出了一种context optimization（CoOP）的方法，通过构造soft prompt方式，即prompt参数化可学习，结合离散标签使用continuous representation建模上下文，并在保持预训练学习的参数固定的同时从数据中进行端到端学习优化，让网络学习更好的prompt。这样，与任务相关的prompt设计就可以完全自动化了。实验结果表明，CoOP在11个数据集上有效地将预训练的视觉语言模型转化为数据高效的视觉任务学习模型，只需少量样本微调就能击败手工设计的提示符，并且在使用更多样本微调时能够获得显著的性能提升。 论文地址: https://arxiv.org/abs/2109.01134 论文源码地址: https://github.com/KaiyangZhou/CoOp 方法 对于预训练 ...