闲记算法

在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬)，并将持续更新… 最新的模型汇总地址github： https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models Expand Table of Contents 更新日志 基础大模型 对话大模型 多模态对话大模型 大模型评估基准 在线体验大模型 开源模型库平台 开源数据集库 开源中文指令数据集 Other-Awesome NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE ERNIE3 RoFormer StructBERT Lattice-BERT Mengzi-BERT ChineseBERT TaCL MC-BERT 二郎神 PERT MobileBERT GAU-α DeBE ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-09-26) 今日共更新678篇论文,其中: 75篇自然语言处理（NLP: cs.CL) 166篇计算机视觉(CV: cs.CV) 167篇机器学习(ML: cs.LG) 38篇人工智能(AI: cs.AI) 6篇信息检索(IR: cs.IR) 其它主题226篇 自然语言处理 NLP-0-标题: DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention 链接: https:/ ...

千元预算半天训练，效果媲美主流大模型，开源可商用中文LLaMA-2 [代码] [博客] [模型权重] LLaMA-2相较于LLaMA-1，引入了更多且高质量的语料，实现了显著的性能提升，全面允许商用，进一步激发了开源社区的繁荣，拓展了大型模型的应用想象空间。 然而，从头预训练大模型的成本相当高，被戏称「5000万美元才能入局」，这使得许多企业和开发者望而却步。那么，如何以更低的成本构建自己的大型模型呢？ 作为大模型降本增效的领导者，Colossal-AI团队充分利用LLaMA-2的基础能力，采用高效的训练方法，仅使用约8.5B token数据、15小时、数千元的训练成本，成功构建了性能卓越的中文LLaMA-2，在多个评测榜单性能优越。 相较于原始LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同规模预训练SOTA模型媲美。 秉承Colossal-AI团队一贯的开源原则，完全开源全套训练流程、代码及权重，无商用限制，并提供了一个完整的评估体系框架ColossalEval，以实现低成本的可复现性。 此外，相关方案还可迁移应用到任意垂类领域和从头预训 ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-09-22) 今日共更新405篇论文,其中: 59篇自然语言处理（NLP: cs.CL) 88篇计算机视觉(CV: cs.CV) 72篇机器学习(ML: cs.LG) 23篇人工智能(AI: cs.AI) 2篇信息检索(IR: cs.IR) 其它主题161篇 自然语言处理 NLP-0-标题: LLM -Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent 链接: https://arxi ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-09-21) 今日共更新326篇论文,其中: 57篇自然语言处理（NLP: cs.CL) 71篇计算机视觉(CV: cs.CV) 58篇机器学习(ML: cs.LG) 26篇人工智能(AI: cs.AI) 2篇信息检索(IR: cs.IR) 其它主题112篇 自然语言处理 NLP-0-标题: Dream LLM : Synergistic Multimodal Comprehension and Creation 链接: https://arxiv.org/abs/2309.11499 作者: Runp ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-09-20) 今日共更新436篇论文,其中: 64篇自然语言处理（NLP: cs.CL) 92篇计算机视觉(CV: cs.CV) 83篇机器学习(ML: cs.LG) 38篇人工智能(AI: cs.AI) 6篇信息检索(IR: cs.IR) 其它主题153篇 自然语言处理 NLP-0-标题: SlimPajama-DC: Understanding Data Combinations for LLM Training 链接: https://arxiv.org/abs/2309.10818 作者: ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-09-19) 今日共更新725篇论文,其中: 106篇自然语言处理（NLP: cs.CL) 148篇计算机视觉(CV: cs.CV) 128篇机器学习(ML: cs.LG) 52篇人工智能(AI: cs.AI) 8篇信息检索(IR: cs.IR) 其它主题283篇 自然语言处理 NLP-0-标题: An Empirical Study of Scaling Instruct-Tuned Large Multimodal Models 链接: https://arxiv.org/abs/2309.09958 ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-09-18) 今日共更新357篇论文,其中: 51篇自然语言处理（NLP: cs.CL) 81篇计算机视觉(CV: cs.CV) 67篇机器学习(ML: cs.LG) 7篇人工智能(AI: cs.AI) 1篇信息检索(IR: cs.IR) 其它主题150篇 自然语言处理 NLP-0-标题: Sparse Autoencoders Find Highly Interpretable Features in Language Models 链接: https://arxiv.org/abs/2309.0860 ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-09-15) 今日共更新385篇论文,其中: 54篇自然语言处理（NLP: cs.CL) 67篇计算机视觉(CV: cs.CV) 88篇机器学习(ML: cs.LG) 19篇人工智能(AI: cs.AI) 2篇信息检索(IR: cs.IR) 其它主题155篇 自然语言处理 NLP-0-标题: MMICL: Empowering Vision-language Model with Multi-Modal In-Context Learning 链接: https://arxiv.org/abs/2309. ...

在医学、法律、电商等垂类领域，大模型在训练时候可能没见过太多这些知识，模型就容易“胡说八道”。虽然我们可以用特定领域再进行微调/二次预训练，仍然不能避免其“胡说八道”，而且训练不好很可能“灾难遗忘”，失去一些通用能力。 外挂数据库是解决模型“胡说八道”的有效手段。现在主流的外挂的数据库是向量数据库，因为实现起来比较简单，更复杂的也可以是图数据库、关系型数据库等。外挂数据库最简单的使用方式是，根据用户的问题，从数据库中召回若干条相关的文档片段，将文档片段和用户问题一块输入到大模型，让大模型根据文档片段回答用户的问题。其实，大模型对输入中不同位置的文本信息利用能力是不同的，对召回的若干条文档片段进行合理的位置安排，能有效提高模型的回答效果。 问题 假设我们检索出来的相关文档为doc1，doc2，doc3，如下所示 存在一个问题是：这里doc1、doc2、doc3应该怎么排序合适？ 作者做了一系列的实验，这里直接给出结论：把关键信息位于输入上下文的开始或结尾时，模型表现最佳。而关键信息位于长上下文的中部，性能可能会大幅下滑。 实验场景 （1）wiki问答场景：大模型输入中包含一个问题和k个 ...

随着人们对大型语言模型 (LLM) 的兴趣激增，许多开发人员和组织正忙于利用其能力构建应用程序。然而，当开箱即用的预训练LLM没有按预期或希望执行时，如何提高LLM应用的性能的问题。最终我们会问自己：我们应该使用检索增强生成（RAG）还是模型微调来改善结果？ 在深入研究之前，让我们揭开这两种方法的神秘面纱： RAG：这种方法将检索（或搜索）的能力集成到LLM文本生成中。它结合了一个检索系统和一个法学硕士，前者从大型语料库中获取相关文档片段，后者使用这些片段中的信息生成答案。本质上，RAG 帮助模型“查找”外部信息以改进其响应。 微调：这是采用预先训练的 LLM 并在较小的特定数据集上对其进行进一步训练的过程，以使其适应特定任务或提高其性能。通过微调，我们根据数据调整模型的权重，使其更适合我们应用程序的独特需求。 RAG 和微调都是增强基于 LLM 的应用程序性能的强大工具，但它们涉及优化过程的不同方面，这在选择其中之一时至关重要。 以前，我经常建议组织在进行微调之前尝试使用 RAG。这是基于我的看法，即两种方法都取得了相似的结果，但在复杂性、成本和质量方面有所不同。我甚至用这样的图 ...

几个月前，在 Thoughtworks 的内部 AIGC 研讨会里，我们一直达成了一系列一致观点，诸如于：如果没有 “开源模型” 降低企业应用 LLM 的成本，那么 LLM 会很快消亡。所以，我们相信开源 LLM + LoRA 微调会成为企业的一种主流方式。现今，我们可以看到 LLaMA 2、Code LLaMA 2 等模型在不断刷新这种可能性。 而在模型不是问题之后，作为架构师、开发人员，我们应该致力于：将 LLM 以工程化的方式落地。于是，在过去的几个月里，我们开发了一系列不同领域的 LLM 应用 PoC（Proof of Concept），尝试从不同的角度思考如何构建好 LLM 应用。诸如于： 语言与生态的角度，探索优化语言间的交互？ 技术架构应该如何设计？ Prompt 建模与优化？ 有哪些模式构建更好的模型上下文？ 语言 API 应该包含那些内容？ 其它的一些问题，还包含如何通过小模型、传统 LLM 降低大模型花费？每个问题都是一个比较有意思的问题，也是我们在落地时要考虑的。 语言与生态的角度：LLM Service as a API vs FFI 已经有大量的企业尝试 ...

Claude被训练成一名乐于助人、诚实且无害的助手。它习惯于对话，你可以用普通英语指导它。 你给 Claude 的指令的质量会对它的输出质量产生很大的影响，特别是对于复杂的任务。本提示设计指南将帮助你学习如何制作能够产生准确且一致结果的提示。 Claude通过序列预测工作 Claude 是一个基于大型语言模型的会话助理。该模型使用你发送给它的所有文本（您的提示）以及迄今为止生成的所有文本来预测下一个最有帮助的标记。 这意味着 Claude 一次按顺序构造一组字符的响应。它在写入后无法返回并编辑其响应，除非你在后续提示中给它机会这样做。 Claude 也只能看到（并做出预测）其上下文窗口中的内容。它无法记住以前的对话，除非你它们放入提示中，并且它无法打开链接。 什么是提示（Prompt）？ 给 Claude 的文本旨在引出或“提示”相关输出。提示通常采用问题或说明的形式。例如： 1Why is the sky blue?（为什么天空是蓝色的） Claude 响应的文本称为“输出”。 123由于空气中的分子散射太阳光，天空对我们来说呈蓝色。较短波长的光（蓝色）比较长波长的光（如红色和黄色） ...

代理（Agent）指能自主感知环境并采取行动实现目标的智能体。基于大语言模型（LLM）的 AI Agent 利用 LLM 进行记忆检索、决策推理和行动顺序选择等，把Agent的智能程度提升到了新的高度。LLM驱动的Agent具体是怎么做的呢？接下来的系列分享会介绍 AI Agent 当前最新的技术进展。 什么是AI Agent？ 代理（Agent）这个词来源于拉丁语“agere”，意为“行动”。现在可以表示在各个领域能够独立思考和行动的人或事物的概念。它强调自主性和主动性 (参考链接)。智能代理/智能体是以智能方式行事的代理；Agent感知环境，自主采取行动以实现目标，并可以通过学习或获取知识来提高其性能 (参考链接)。 可以把单个Agent看成是某个方面的专家。 一个精简的Agent决策流程： Agent：P（感知）→ P（规划）→ A（行动） 其中： **感知（Perception）**是指Agent从环境中收集信息并从中提取相关知识的能力。 **规划（Planning）**是指Agent为了某一目标而作出的决策过程。 **行动（Action）**是指基于环境和规划 ...

本研究的重点是优化延迟的各种方法。具体来说，我想知道哪些工具在优化开源 LLM 的延迟方面最为有效。 🏁mlc 是最快的。这个速度太快了，以至于我都有些怀疑，并且现在我有动力去评估质量（如果我有时间的话）。在手动检查输出结果时，它们似乎与其他方法没有什么不同。 ❤️ CTranslate2 是我最喜欢的工具，它是最快的工具之一，也是最容易使用的工具。在我尝试过的所有解决方案中，它的文档是最好的。与 vLLM 不同，CTranslate 似乎还不支持分布式推理。 🛠️ vLLM 确实很快，但 CTranslate 可能更快。另一方面，vLLM 支持分布式推理，而这正是大型模型所需要的。 Text Generation Inference如果想以标准方式部署 HuggingFace LLM，文本生成推理是一个不错的选择（但速度远不及 vLLM）。TGI 有一些不错的功能，如内置遥测（通过 [OpenTelemetry](via OpenTelemetry)）以及与 HF 生态系统（如inference endpoints）的集成。值得注意的是，从 2023 年 7 月 ...

本指南分享了提高GPT的效果的策略和方法。这里描述的方法有时可以结合使用以获得更好的效果。同时鼓励多尝试试验，找到最适合自己的方法。 [TOC] 以下是提高Prompt效果的六个策略： 1. 编写清晰的提示 如果GPT输出的内容过长，可以要求进行简短的回复；如果输出过于简单，可以要求使用专业的写作水准输出内容。如果你不喜欢输出的格式，可以提供自己想要的格式。越是明确表达自己的需求，越有可能得到满意的答案。 具体方法： 在查询中提供更多细节可以获得更相关的答案 可以要求模型采用特定的人设 使用分隔符清楚地指示输入的不同部分 指定完成任务所需的步骤 提供例子 指定所需的输出长度 1.1 在查询中包含详细信息以获得更相关的答案 为了获得高度相关的响应，请确保请求中提供了所有重要的详细信息或上下文。否则，模型将会猜测你的意思，结果的相关度也会降低。 在下面的表格中，右边是推荐的写法，效果会比左边的更好，因为提供了更多具体的细节信息。 更差的 更好的 如何在 Excel 中添加数字？ 如何在 Excel 中添加一行美元金额？我想对整张行自动执行此操作，所有总计都在右侧名为“总计 ...

How Prompt Engineering Works Rules of Thumb and Examples Rule #1 – Instructions at beginning and ### or “”" to separate instructions or context Rule #2 – Be specific and detailed about the desired context, outcome, length, format, and style. Rule #3 – Give examples of desired output format Rule #4 – First try without examples, then try giving some examples. Rule #5 – Fine-tune if Rule #4 doesn’t work Rule #6 – Be specific. Omit needless words. Rule #7 – Use leading words to nudge the ...

GPT，也就是 Transformer Decoder 结构做文本生成时有一个致命问题。先来看看 Encoder 推理是怎么做的，每个 timestep 都能看到所有 timestep ，推理时所有 timestep 一层层向后计算，一把过。于是内存相关开销就是O(N)O(N)O(N) , 而计算相关开销就是O(N2)O(N^2)O(N2) ，其中 N 为序列长度。 而 Decoder 推理时，最大不同在于自回归结构，可以看到图中每个 timestep 的输出都是下一 timestep 的输入，所以无法像 Encoder 一样一次过，每次都要 attend 之前的所有 timestep. 同样计算一下开销，计算开销是 1+(1+2)+(1+2+3)+...+(1+2+...+n)1+(1+2)+(1+2+3)+...+(1+2+...+n)1+(1+2)+(1+2+3)+...+(1+2+...+n) 也就是O(N3)O(N^3)O(N3) ，而内存开销则是 O(N2)O(N^2)O(N2). 大家用 ChatGPT 接口也会有类似感觉，Context 部分成本很低，也很快，因为它做 ...

我算是最早在国内提结构化、模板化编写大模型 Prompt 范式的人之一。2023 年 4 月在我自己的个人实践中发现这种结构化、模板化的方式对编写 prompt 十分友好，并且在大多数时候都表现不俗。2023 年 5 月份我将这种方法开源成 LangGPT 项目并在国内写文公开，受到了许多人的认可和喜爱，尤其在 GitHub、即刻、知乎等社区都有不小的反响。由于结构化 Prompt 的出色性能表现，很多朋友都开始在实践中应用这种方法写 Prompt ，其中不乏许多来自网易字节等互联网大厂的朋友。 虽然结构化 prompt 的思想目前已经广为传播并应用，但是缺乏全面系统的资料。虽然也有许多解读文章传播，但内容质量良莠不齐，并且知识也较为破碎。于是写作本文，希望能成为一篇较为系统的高质量的结构化 Prompt 论述文章，为学习 Prompt 编写的朋友提供一些参考借鉴。 什么是结构化 Prompt ？ 结构化的思想很普遍，结构化内容也很普遍，我们日常写作的文章，看到的书籍都在使用标题、子标题、段落、句子等语法结构。结构化 Prompt 的思想通俗点来说就是像写文章一样写 Prompt。 为 ...

近期LangChain[1] + LLM 方案高速发展，降低了知识问答等下游应用的开发门槛。但随着业务深入，一些局限性也日渐显露，比如：LLM 意图识别准确性较低，交互链路长导致时间开销大；Embedding 不适合多词条聚合匹配等。本文结合实际案例，分析上述问题存在的根源，并提出基于传统 NLP 技术的解决思路。 背景 以 LLM 为基础的知识问答系统构建方法核心在于： 将用户问题和本地知识进行 Embedding，通过向量相似度(Vector Similarity)实现召回； 通过 LLM 对用户问题进行意图识别；并对原始答案加工整合。 2023 年初 ChatGPT 声名鹊起之时，下游生态链不是很完善，业界一般通过 OpenAI API 和 ChatGPT 直接交互，缺陷也很明显： 上层应用和模型基座绑死。切换模型基座时，上层逻辑不得不大量修改。在 LLM 蓬勃发展的当下，无论是处于成本、License、研究热点还是性能等各方面考虑，基座变更几乎不可避免。 处理环节不完善，开发成本高。比如：向量存储和搜索，LLM 提示词生成，数据链路（导入、分片、加工）等等。如果全部手撸， ...

2023年7月18日，Meta发布了LLaMA2-最新版本大型语言模型（LLM）。LLaMA2训练使用了2万亿个Tokens，在许多基准测试中（包括推理、编码、熟练度和知识）测试效果优于其他LLM，包括。此次发布有不同的版本，参数大小为7B、13B和70B。这些模型可供商业和研究用途免费使用。 为了满足各种文本生成需求并对这些模型进行微调，我们将使用QLoRA (Efficient Finetuning of Quantized LLMs，这是一种高效的微调技术，它将预训练的LLM量化为仅4位，并添加了小的“低秩适配器”。这种独特的方法可以只使用单个GPU对LLM进行微调！并且PEFT库已支持QLoRA方法。 相关依赖 要成功微调LLaMA 2模型，您需要以下内容： 填写Meta的表格以请求访问下一个版本的Llama。事实上，使用Llama 2受Meta许可证的管理，您必须接受该许可证才能下载模型权重和分词器。 拥有Hugging Face账户（使用与Meta表单中相同的电子邮件地址）。 拥有Hugging Face令牌。 访问LLaMA 2可用模型（7B、13B或70B版本）的页面 ...

ChatGPT 大火之后，在 2023 年 2 月 24 日，LLaMA 的出现让 instruction tuning 这个方向变得火热；3 月 18 日，Alpaca 让大家看到从成熟的模型 distill 小模型成为还不错的 ChatBot 的可能性，从而引发羊驼系模型寒武纪大爆发。但仅仅过去三个月，大家开始发现意识到用 ChatGPT 的数据训练 LLaMA 的各种问题。本文回顾在过去三个月内的 LLaMA 系模型的发展，讨论 Instruction Tuning 的下一步挑战。 1 - 起源 最开始三篇 InstructGPT: Training language models to follow instructions with human feedback FLANv1: Finetuned Language Models Are Zero-Shot Learners T0: Multitask Prompted Training Enables Zero-Shot Task Generalization 对比 InstructGPT 的目标是对齐，zero-sh ...

这次想要和大家分享的内容主要包括以下几个方面。首先，我会介绍下多模态学习的基础知识，包括相关概念、应用场景、意义等。然后，我将探讨一些多模态学习中的核心技术以及代表性的模型。最后，我们还会一起看看多模态学习面临的挑战以及未来可能的发展方向。不管你是对人工智能有浓厚兴趣的新手，还是已经在这个领域摸爬滚打了一段时间的老兵，相信你都能从这次分享中找到自己需要的。 多模态学习相关概念介绍 那么，我们先来聊聊什么是多模态学习。模态（Modality）可能是大家比较陌生的词汇，但实际上，在我们日常生活中，经常会接触到不同的模态的数据，例如文字、语音、图片等等。这些都是明显的不同模态的数据。如果我们进一步拓宽视野，会发现模态其实可以理解成一个表达、记录或感知某个事物的方式，或者说这种信息被记录或数据被存储的一种方式。每种不同的存储方式都可以被认为是一种不同的模态。 比如，有的模态可能更接近传感器的原始数据，比如语音、图像等；而有的模态则可能涉及更抽象的概念，比如情绪、物体分类等。在过去，我们可能更倾向于处理单一模态的数据，比如仅处理文字或者仅处理图片。但现在，随着科技的发展，我们不仅需要处理更多的模 ...

上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个token或文本片段的大小范围。 在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。较大的上下文窗口可以提供更丰富的语义信息、消除歧义、处理上下文依赖性，并帮助模型生成连贯、准确的文本，还能更好地捕捉语言的上下文相关性，使得模型能够根据前文来做出更准确的预测或生成。 最新发布的语言大模型的上下文窗口越来越大。本文详细探讨了大型上下文窗口的技术可能性，尤其分析了将上下文长度增加到100K背后的六大优化技巧。 最近有几个新的语言大模型（LLM）发布，这些模型可以使用非常大的上下文窗口，例如65K 个tokens（MosaicML的MPT-7B-StoryWriter-65k+）和100K个tokens的上下文窗口（Antropic）。在Palm-2技术报告中，谷歌并没有透露具体上下文大小，但表示他们“显著增加了模型的上下文长度”。 相比之下，当前GPT-4模型可以使用32K个输入tokens的上下文长度，而大多数开源LLM的上下文长度为2K个tokens。 如此大的上下文长度意味 ...

大型语言模型是构建软件的强大新工具。但由于它们是如此之新，而且行为方式与普通计算资源如此不同，因此如何使用它们并不总是显而易见的。 在这篇文章中，我们将分享新兴 LLM 应用程序栈的参考架构。它展示了我们所见过的人工智能初创公司和尖端科技公司所使用的最常见的系统、工具和设计模式。这个堆栈仍处于早期阶段，可能会随着底层技术的发展而发生重大变化，但我们希望它能为现在使用 LLM 的开发人员提供有用的参考。 1、LLM App技术栈 这是我们当前的 LLM 应用程序栈视图： 以下是每个项目的链接列表，以供快速参考： Data pipelines Embedding model Vector database Playground Orchestration APIs/plugins LLM cache Databricks OpenAI Pinecone OpenAI Langchain Serp Redis Airflow Cohere Weaviate nat.dev LlamaIndex Wolfram SQLite Unstructured Hugging F ...

当前开源大模型正在如火如荼的进行，随着LLAMA，BLOOM为代表的开源社区逐步完善，如何基于这两个模型更好地使用低成本、高性能的中文场景需求，目前已经出现了多种具有代表性的工作。 不过很现实的问题是，LLaMA词表中仅包含很少的中文字符，其对中文并不友好，BLOOM作为一个多语言模型，词表有过大，在训练过程中并不平民化。 因此，为了解决这个问题，通过干预词表，或通过增加词表，或裁剪词表，并加以预训练这一范式，已经逐步成为一个主流的方式。 因此，为了增强对该范式的认识，本文主要从LLAMA扩充词表以增强中文能力、Bloom裁剪词表以降低训练成本这两个角度进行介绍，充分借鉴了相关开源项目的代码原理一些实验论述，供大家一起参考。 一、LLaMA扩充词表以增强中文能力 《 Efficient and Effective Text Encoding for Chinese Llama and Alpaca》这一文章介绍了在LLaMA上进行中文词表扩充，以增强中文能力的工作。 项目地址：Github 1、LLaMA为什么要扩充词表 为什么要扩充词表？直接在原版LLaMA上用中文预训练不行吗？ 这 ...

ChatGPT 的出现，使中文社区意识到与国际领先水平的差距。近期，中文大模型研发如火如荼，但中文评价基准却很少。在 OpenAI GPT 系列 / Google PaLM 系列 / DeepMind Chinchilla 系列 / Anthropic Claude 系列的研发过程中，MMLU / MATH / BBH 这三个数据集发挥了至关重要的作用，因为它们比较全面地覆盖了模型各个维度的能力。 最值得注意的是 MMLU 这个数据集，它考虑了 57 个学科，从人文到社科到理工多个大类的综合知识能力。DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集，我们管它叫 C-Eval，来帮助中文社区研发大模型。 这篇文章是把我们构造 C-Eval 的过程记下来，与开 ...

深度学习调优指南中文版 这不是官方认证的 Google 产品。 Varun Godbole † , George E. Dahl † , Justin Gilmer † , Christopher J. Shallue ‡ , Zachary Nado † † 谷歌研究，谷歌大脑团队 ‡ 哈佛大学 备注：感谢开源大佬提供中文材料 中文版地址 英文版地址

最近在训练LLM，发现不同tokenizer的分词结果和效率都不太一样，因此做实验探究一下，顺便把结果在这里做一个记录。 实验是使用各tokenizer在NewsCommentary的中英平行语料(各25w条)上进行处理，记录处理出的token长度以及处理时间等，结果如下： 名称 词表长度↑ 中文平均长度↓ 英文平均长度↓ 中文处理时间↓ 英文处理时间↓ LLaMA 32000 62.8 32.8 02:09 01:37 BELLE 79458 24.3 32.1 00:52 01:27 MOSS 106072 24.8 28.3 07:08 00:49 GPT4 50281 49.9 27.1 00:07 00:08 BLOOM/Z 250680 23.4 27.6 00:46 01:00 ChatGLM 130344 23.6 28.7 00:26 00:39 实验结果 LLaMA的词表长度是最短的，其在中英文的平均长度上效果都不佳，同时处理时间也较长。 BELLE的词表是在LLaMA基础上进行扩增的，通过观察可以发现，扩增的主要是中文的t ...

近期，ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络，通过极大规模的数据进行自监督训练。但是，如何构建自监督训练数据？在基础的Transformer结构上，大家又做了哪些创新呢？为了保证训练过程高效且稳定，又有哪些黑科技呢？今天给大家介绍一篇来自人民大学的综述论文，为大家解密这些大模型的训练技巧。 论文地址: http://arxiv.org/abs/2303.18223 相关资源参考: https://github.com/RUCAIBox/LLMSurvey 训练数据的收集与处理 大规模语言模型对训练数据的规模与质量都有更高的要求。那现在的大模型都用了什么语料？这些语料都发挥着怎样的作用？如何对语料做清洗和预处理？大模型还有什么特殊的细节需要我们去处理？ 数据来源 数据来源上，大规模语言模型的训练数据可以一般性语料与特殊语料。一般性语料，如网页、书籍、对话文本，占比较大，可以在各种话题上为模型提供语言知识；而特殊语料， ...

注1：本文整理自我在今年3 月 11 日 “中国人工智能学会”主办的「ChatGPT 及大模型专题研讨会」上《大型语言模型的涌现能力：现象与解释》的现场分享，介绍了大语言模型中的涌现现象，以及关于涌现能力背后原因的相关猜想。感谢CSDN帮助整理的文字稿。 注2:另，有人问了，既然很多自然现象也体现出涌现能力，那么大语言模型的涌现现象需要解释吗？我个人认为是需要的。毕竟，说大语言模型的某个特殊现象属于“涌现现象”，也是被个别研究提出来，未有确切证明或证据，是否它和自然现象中出现的涌现现象内在机制是类似或一样的，其实可以存疑。而且我认为大模型的这个现象，背后应该有些我们可以理解的原因。如果我们不追求现象背后的解释，仅仅把目前解释不了的现象统一归类为涌现或者其它什么概念，就此了之。那么，其实我们也可以把大模型的目前理解不了的很多现象，统一归类为这是一种“神迹”，那世界上很多事情就简单多了。另另，用Grokking解释涌现现象，尽管我把它称为”用玄学解释玄学“，但是觉得还是值得深入探索的方向，也许可以把上面的说法，优化为”用含玄量较低的玄学解释另外一个含玄量较高的玄学“。 注3:如果仔细分析的 ...

博客内容来自于最新书籍《The Art of Asking ChatGPT for High-Quality Answers: A complete Guide to Prompt Engineering Techniques》。本书是一本综合性的指南，目的是帮助您理解和利用各种提示技术，以便从ChatGPT中获得高质量的答案。 最新可参考: https://github.com/f/awesome-chatgpt-prompts 接下来我们将探索如何用不同的提示技术去完成不同的目的。ChatGPT 是目前最先进的、能够生成类似人类文本的语言模型。然而，了解向ChatGPT提问的正确方式，以获得我们所期望的高质量答案，是至关重要的。 这就是本书的目的：无论你是一个普通人、研究员、开发者，或者是仅仅想把ChatGPT当成自己工作的个人助理，这本书都适合你。书中使用通俗易懂的语言解释，并且辅以实例和提问技巧的公式。通过这本书，你将学会如何使用提示技巧来控制ChatGPT的输出，让其按照你的需求生成文本。 在本书中，我还提供了一些如何综合利用不同提示技巧，以达到特定目的的例子。希望这本书能 ...

Hugging Face仓库中大模型包含文件不止一个，本文将会介绍如何使用git进行批量下载。 Hugging Face官网：https://huggingface.co Hugging Face的基本操作：https://huggingface.co/welcome 环境配置 由于Hugging Face的部分模型和数据集在国外服务器，不使用代理比较慢，所以要先配置git代理。 代理配置 全局代理配置方式： 1git config --global https.proxy http://xxxxxx:xxxx 只对clone使用代理的配置方式： 1git clone XXX.git -c http.proxy="http://xxxxxx:xxxx" lfs安装 如果想命令行快速下载模型，需要提前安装好git-lfs环境。Ubuntu环境安装命令如下： 1sudo apt-get install git-lfs 主要用法: 12git lfs installgit lfs clone https://huggingface.co/${userna ...

我们很高兴正式发布 trl 与 peft 的集成，使任何人都可以更轻松地使用强化学习进行大型语言模型 (LLM) 微调！在这篇文章中，我们解释了为什么这是现有微调方法的有竞争力的替代方案。 请注意， peft 是一种通用工具，可以应用于许多 ML 用例，但对于RLHF来说特别有趣，因为这种方法特别耗费内存！ 如果你想直接深入研究代码，请直接在 TRL 的文档页面 直接查看示例脚本。 TRL 的文档页面 介绍 LLMs & RLHF LLM 结合 RLHF (人类反馈强化学习) 似乎是构建非常强大的 AI 系统 (例如 ChatGPT) 的下一个首选方法。 使用 RLHF 训练语言模型通常包括以下三个步骤: 在特定领域或指令和人类示范语料库上微调预训练的 LLM; 收集人类标注的数据集，训练一个奖励模型; 使用 RL (例如 PPO)，用此数据集和奖励模型进一步微调步骤 1 中的 LLM。 具体可详细了解OpenAI 的 ChatGPT 博文 OpenAI 的 ChatGPT 博文 基础 LLM 的选择在这里是至关重要的。在撰写本文时，可以“开箱即用”地用于许多任 ...

BLOOM是由HuggingFace推出的大模型，其参数量达到176B(GPT-3是175B)。目前超过100B参数量且能够支持中文的开源大模型只有BLOOM和GLM-130B。由于HuggingFace是著名开源工具Transformers的开发公司，很多推理工具都会支持Transformers中的模型。 LLM(大语言模型)推理的两个问题：(1) 单张显卡无法容纳整个模型；(2) 推理速度太慢。本文初步整理了一些推理大模型的工具和代码，并简单测试了推理速度。下面是本文测试的一些背景： 目前是2023年2月 使用7B模型bloom-7b1-mt 4张3090(但在实际推理中仅使用2张3090) 依赖包的版本 transformers==4.26.0 tensor-parallel==1.0.24 deepspeed==0.7.7 bminf==2.0.1 辅助函数 12345678910111213141516171819202122232425262728# utils.pyimport numpy as npfrom time import perf_counter# per ...

假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前 …… 且慢！训练可不仅仅像这两个字的发音那么简单，看看 BLOOM 的训练或许对你有帮助。 近年来，语言模型越训越大已成为常态。大家通常会诟病这些大模型本身的信息未被公开以供研究，但很少关注大模型训练技术这种背后的知识。本文旨在以 1760 亿参数的语言模型 BLOOM 为例，阐明训练此类模型背后的软硬件工程和技术要点，以促进大家对大模型训练技术的讨论。 BLOOM 文档链接 首先，我们要感谢促成或赞助我们这个小组最终完成了训练 1760 亿参数模型这一惊人壮举的公司、个人和团体。 然后，我们开始讨论硬件配置和主要技术组件。以下是对本项目的简要总结: 硬件 384 张 80GB A100 GPU 软件 Megatron-DeepSpeed 模型架构 基于 GPT3 数据集 含 59 种语言，共 3500 亿词元 训练时长 3.5 个月 人员组成 该项目由 Thomas Wolf (Hugging Face 联合创始人兼 CSO) ...

零样本信息抽取（Information Extraction，IE）旨在从无标注文本中建立IE系统，因为很少涉及人为干预，该问题非常具有挑战性。但零样本IE不再需要标注数据时耗费的时间和人力，因此十分重要。近来的大规模语言模型（例如GPT-3，Chat GPT）在零样本情况下取得了很好的表现，这启发我们探索基于Prompt的方法来解决零样本IE任务。我们提出一个问题：不经过训练来实现零样本信息抽取是否可行？我们将零样本IE任务转变为一个两阶段框架的多轮问答问题（Chat IE）,并在三个IE任务中广泛评估了该框架：实体关系三元组抽取、命名实体识别和事件抽取。在两个语言的6个数据集上的实验结果表明，Chat IE取得了非常好的效果，甚至在几个数据集上（例如NYT11-HRL）上超过了全监督模型的表现。我们的工作能够为有限资源下IE系统的建立奠定基础。 论文地址: https://arxiv.org/pdf/2302.10205.pdf 论文地址: https://github.com/cocacola-lab/ChatIE 介绍 信息抽取目标是从无结构文本中抽取结构化信息，包括实体- ...

本调研报告来源于哈尔滨工业大学自然语言处理研究所

扩大语言模型的规模已被证明可以提高性能并释放出新的能力。或许，也存在某些任务的结果会因模型规模的增加反而变得糟糕。这类任务被称为 Inverse Scaling，它们可以指示出训练数据或优化目标是否存在某种缺陷。 本文着眼于这些Inverse Scaling任务。作者评估了多达540B参数的模型，其训练计算量是Inverse Scaling Prize中评估的五倍。通过增加模型大小和训练计算量的范围，只有11个任务中的4个仍然是反比例缩放。其中11项任务中有6项表现出我们所谓的“U形缩放”—性能先是随着模型规模增大降到一定程度，然后随着模型的增大性能再次上升（剩余一项任务显示正向缩放）。 论文地址: https://arxiv.org/pdf/2211.02011.pdf 方法 在论文中，作者对这11个任务的缩放表现进行了详细研究。结果如下： 所有11项任务的PaLM结果如上图所示，可以看到在PaLM 540B模型后，11项任务中的只有4项保持反比例缩放。其中6个任务从反比例缩放变为U形曲线，而一个任务（Repetitive Algebra）则显示出与PaLM正相关的趋势。这种广泛 ...