闲记算法

在笔者应用大模型的场景中，对话模型(即大模型-chat系列)通常具有比较重要的地位，我们通常基于与大模型进行对话来获取我们希望理解的知识。然而大模型对话是依据何种数据格式来进行训练的，他们的数据为什么这么来进行组织，本篇文章将进行总结。 Chat Markup Language Chat Markup Language (CML) 是一种用于描述对话结构的标记语言。它可以帮助大模型和 AI 助手之间的对话更加结构化和清晰。CML 可以描述对话中的各种元素，例如对话的开始和结束、用户和 AI 助手的发言、对话中的问题和回答等等。使用 CML 可以使得对话的处理更加方便和高效，同时也可以提高对话的可读性和可维护性。 DeepMind的相关研究指出，相关研究指出，LLM可以通过选取合适的prompt)来转化为对话代理。这些文本提示通常包含一种所谓的“系统”信息来定义 LLM 的角色，一种更好的结构化方法是ChatML，它对每个对话轮次进行包装，并使用预定义的特殊Token来表示询问或回答的角色。这种方法可以更好地区分对话中不同角色的发言，并且可以更准确地捕捉对话的语境和上下文。相比于简单的插 ...

Claude被训练成一名乐于助人、诚实且无害的助手。它习惯于对话，你可以用普通英语指导它。 你给 Claude 的指令的质量会对它的输出质量产生很大的影响，特别是对于复杂的任务。本提示设计指南将帮助你学习如何制作能够产生准确且一致结果的提示。 Claude通过序列预测工作 Claude 是一个基于大型语言模型的会话助理。该模型使用你发送给它的所有文本（您的提示）以及迄今为止生成的所有文本来预测下一个最有帮助的标记。 这意味着 Claude 一次按顺序构造一组字符的响应。它在写入后无法返回并编辑其响应，除非你在后续提示中给它机会这样做。 Claude 也只能看到（并做出预测）其上下文窗口中的内容。它无法记住以前的对话，除非你它们放入提示中，并且它无法打开链接。 什么是提示（Prompt）？ 给 Claude 的文本旨在引出或“提示”相关输出。提示通常采用问题或说明的形式。例如： 1Why is the sky blue?（为什么天空是蓝色的） Claude 响应的文本称为“输出”。 123由于空气中的分子散射太阳光，天空对我们来说呈蓝色。较短波长的光（蓝色）比较长波长的光（如红色和黄色） ...

代理（Agent）指能自主感知环境并采取行动实现目标的智能体。基于大语言模型（LLM）的 AI Agent 利用 LLM 进行记忆检索、决策推理和行动顺序选择等，把Agent的智能程度提升到了新的高度。LLM驱动的Agent具体是怎么做的呢？接下来的系列分享会介绍 AI Agent 当前最新的技术进展。 什么是AI Agent？ 代理（Agent）这个词来源于拉丁语“agere”，意为“行动”。现在可以表示在各个领域能够独立思考和行动的人或事物的概念。它强调自主性和主动性 (参考链接)。智能代理/智能体是以智能方式行事的代理；Agent感知环境，自主采取行动以实现目标，并可以通过学习或获取知识来提高其性能 (参考链接)。 可以把单个Agent看成是某个方面的专家。 一个精简的Agent决策流程： Agent：P（感知）→ P（规划）→ A（行动） 其中： **感知（Perception）**是指Agent从环境中收集信息并从中提取相关知识的能力。 **规划（Planning）**是指Agent为了某一目标而作出的决策过程。 **行动（Action）**是指基于环境和规划 ...

本研究的重点是优化延迟的各种方法。具体来说，我想知道哪些工具在优化开源 LLM 的延迟方面最为有效。 🏁mlc 是最快的。这个速度太快了，以至于我都有些怀疑，并且现在我有动力去评估质量（如果我有时间的话）。在手动检查输出结果时，它们似乎与其他方法没有什么不同。 ❤️ CTranslate2 是我最喜欢的工具，它是最快的工具之一，也是最容易使用的工具。在我尝试过的所有解决方案中，它的文档是最好的。与 vLLM 不同，CTranslate 似乎还不支持分布式推理。 🛠️ vLLM 确实很快，但 CTranslate 可能更快。另一方面，vLLM 支持分布式推理，而这正是大型模型所需要的。 Text Generation Inference如果想以标准方式部署 HuggingFace LLM，文本生成推理是一个不错的选择（但速度远不及 vLLM）。TGI 有一些不错的功能，如内置遥测（通过 [OpenTelemetry](via OpenTelemetry)）以及与 HF 生态系统（如inference endpoints）的集成。值得注意的是，从 2023 年 7 月 ...

本指南分享了提高GPT的效果的策略和方法。这里描述的方法有时可以结合使用以获得更好的效果。同时鼓励多尝试试验，找到最适合自己的方法。 [TOC] 以下是提高Prompt效果的六个策略： 1. 编写清晰的提示 如果GPT输出的内容过长，可以要求进行简短的回复；如果输出过于简单，可以要求使用专业的写作水准输出内容。如果你不喜欢输出的格式，可以提供自己想要的格式。越是明确表达自己的需求，越有可能得到满意的答案。 具体方法： 在查询中提供更多细节可以获得更相关的答案 可以要求模型采用特定的人设 使用分隔符清楚地指示输入的不同部分 指定完成任务所需的步骤 提供例子 指定所需的输出长度 1.1 在查询中包含详细信息以获得更相关的答案 为了获得高度相关的响应，请确保请求中提供了所有重要的详细信息或上下文。否则，模型将会猜测你的意思，结果的相关度也会降低。 在下面的表格中，右边是推荐的写法，效果会比左边的更好，因为提供了更多具体的细节信息。 更差的 更好的 如何在 Excel 中添加数字？ 如何在 Excel 中添加一行美元金额？我想对整张行自动执行此操作，所有总计都在右侧名为“总计 ...

How Prompt Engineering Works Rules of Thumb and Examples Rule #1 – Instructions at beginning and ### or “”" to separate instructions or context Rule #2 – Be specific and detailed about the desired context, outcome, length, format, and style. Rule #3 – Give examples of desired output format Rule #4 – First try without examples, then try giving some examples. Rule #5 – Fine-tune if Rule #4 doesn’t work Rule #6 – Be specific. Omit needless words. Rule #7 – Use leading words to nudge the ...

GPT，也就是 Transformer Decoder 结构做文本生成时有一个致命问题。先来看看 Encoder 推理是怎么做的，每个 timestep 都能看到所有 timestep ，推理时所有 timestep 一层层向后计算，一把过。于是内存相关开销就是O(N)O(N)O(N) , 而计算相关开销就是O(N2)O(N^2)O(N2) ，其中 N 为序列长度。 而 Decoder 推理时，最大不同在于自回归结构，可以看到图中每个 timestep 的输出都是下一 timestep 的输入，所以无法像 Encoder 一样一次过，每次都要 attend 之前的所有 timestep. 同样计算一下开销，计算开销是 1+(1+2)+(1+2+3)+...+(1+2+...+n)1+(1+2)+(1+2+3)+...+(1+2+...+n)1+(1+2)+(1+2+3)+...+(1+2+...+n) 也就是O(N3)O(N^3)O(N3) ，而内存开销则是 O(N2)O(N^2)O(N2). 大家用 ChatGPT 接口也会有类似感觉，Context 部分成本很低，也很快，因为它做 ...

我算是最早在国内提结构化、模板化编写大模型 Prompt 范式的人之一。2023 年 4 月在我自己的个人实践中发现这种结构化、模板化的方式对编写 prompt 十分友好，并且在大多数时候都表现不俗。2023 年 5 月份我将这种方法开源成 LangGPT 项目并在国内写文公开，受到了许多人的认可和喜爱，尤其在 GitHub、即刻、知乎等社区都有不小的反响。由于结构化 Prompt 的出色性能表现，很多朋友都开始在实践中应用这种方法写 Prompt ，其中不乏许多来自网易字节等互联网大厂的朋友。 虽然结构化 prompt 的思想目前已经广为传播并应用，但是缺乏全面系统的资料。虽然也有许多解读文章传播，但内容质量良莠不齐，并且知识也较为破碎。于是写作本文，希望能成为一篇较为系统的高质量的结构化 Prompt 论述文章，为学习 Prompt 编写的朋友提供一些参考借鉴。 什么是结构化 Prompt ？ 结构化的思想很普遍，结构化内容也很普遍，我们日常写作的文章，看到的书籍都在使用标题、子标题、段落、句子等语法结构。结构化 Prompt 的思想通俗点来说就是像写文章一样写 Prompt。 为 ...

本文提出了一种高效微调方法QLoRA，通过量化减少显存使用，实现了在单个48G GPU上对65B模型进行微调，仅仅需要在单个GPU上训练24小时就能达到ChatGPT 99.3%的效果。QLoRA引入多项创新，在不牺牲效果的情况下，显著降低了显存占用量: 4-bit NormalFloat(NF4)数据类型 双重量化:Double Quantization 分页优化器:Paged Optimizer。 论文地址: https://arxiv.org/pdf/2305.14314.pdf 代码地址: https://github.com/artidoro/qlora 微调大型语言模型 (LLM) 是提高其性能的一种非常有效的方法。然而，微调非常大的模型非常昂贵； LLAMA 65B 参数模型的常规 16 位微调需要超过 780 GB 的 GPU 内存。虽然最近的量化方法可以减少LLM的内存占用，但这种技术只适用于推断，在训练过程中还是会出现因为资源问题导致训练失败。 本文提出QLoRA方法只要是使用一种新的高精度技术将预训练模型量化为int4，然后添加一小组可学习的低秩适配器权重 ...