闲记算法

InstructBLIP 是 BLIP 作者团队在多模态领域的又一续作。现代的大语言模型在无监督预训练之后会经过进一步的指令微调 (Instruction-Tuning) 过程，但是这种范式在视觉语言模型上面探索得还比较少。InstructBLIP 这个工作介绍了如何把指令微调的范式做在 BLIP-2 模型上面。用指令微调方法的时候会额外有一条 instruction，如何借助这个 instruction 提取更有用的视觉特征是本文的亮点之一。InstructBLIP 的架构和 BLIP-2 相似，从预训练好的 BLIP-2 模型初始化，由图像编码器、LLM 和 Q-Former 组成。在指令微调期间只训练 Q-Former，冻结图像编码器和 LLM 的参数。作者将26个数据集转化成指令微调的格式，把它们分成13个 held-in 数据集用于指令微调，和13个 held-out 数据集用于 Zero-Shot 能力的评估。 论文地址: https://arxiv.org/pdf/2305.06500.pdf 指令微调 在 NLP 领域，指令微调技术 (Instruction-Tuni ...

在本文中,我们介绍ReAct,这是一种将推理和行动与语言模型相结合以解决各种语言推理和决策制定任务的通用范式。采取动态的方式构建prompt，即根据将用户请求以及之前的观察向大模型请求，依据模型的推理思决策下一步的动作行为，在执行完指定动作后，将结果作为prompt的一部分，继续请求语言模型，直到任务完成。改方法在QA数据集HotpotQA、事实验证数据集Fever上，结合维基百科API，能够提高可解释性。另外，在交互决策数据集ALFWorld、WebShop数据集上效果比模仿学习和强化学成功率分别提升34%和10%。 论文地址: https://arxiv.org/pdf/2210.03629.pdf 代码地址: https://github.com/ysymyth/ReAct ReAct是Reasoning and Acting（也有一说是Reason Act）缩写，意思是LLM可以根据逻辑推理（Reason），构建完整系列行动（Act），从而达成期望目标。LLM灵感来源是人类行为和推理之间的协同关系。人类根据这种协同关系学习新知识，做出决策，然后执行。LLM模型在逻辑推理上有 ...

ChatGPT 大火之后，在 2023 年 2 月 24 日，LLaMA 的出现让 instruction tuning 这个方向变得火热；3 月 18 日，Alpaca 让大家看到从成熟的模型 distill 小模型成为还不错的 ChatBot 的可能性，从而引发羊驼系模型寒武纪大爆发。但仅仅过去三个月，大家开始发现意识到用 ChatGPT 的数据训练 LLaMA 的各种问题。本文回顾在过去三个月内的 LLaMA 系模型的发展，讨论 Instruction Tuning 的下一步挑战。 1 - 起源 最开始三篇 InstructGPT: Training language models to follow instructions with human feedback FLANv1: Finetuned Language Models Are Zero-Shot Learners T0: Multitask Prompted Training Enables Zero-Shot Task Generalization 对比 InstructGPT 的目标是对齐，zero-sh ...

这次想要和大家分享的内容主要包括以下几个方面。首先，我会介绍下多模态学习的基础知识，包括相关概念、应用场景、意义等。然后，我将探讨一些多模态学习中的核心技术以及代表性的模型。最后，我们还会一起看看多模态学习面临的挑战以及未来可能的发展方向。不管你是对人工智能有浓厚兴趣的新手，还是已经在这个领域摸爬滚打了一段时间的老兵，相信你都能从这次分享中找到自己需要的。 多模态学习相关概念介绍 那么，我们先来聊聊什么是多模态学习。模态（Modality）可能是大家比较陌生的词汇，但实际上，在我们日常生活中，经常会接触到不同的模态的数据，例如文字、语音、图片等等。这些都是明显的不同模态的数据。如果我们进一步拓宽视野，会发现模态其实可以理解成一个表达、记录或感知某个事物的方式，或者说这种信息被记录或数据被存储的一种方式。每种不同的存储方式都可以被认为是一种不同的模态。 比如，有的模态可能更接近传感器的原始数据，比如语音、图像等；而有的模态则可能涉及更抽象的概念，比如情绪、物体分类等。在过去，我们可能更倾向于处理单一模态的数据，比如仅处理文字或者仅处理图片。但现在，随着科技的发展，我们不仅需要处理更多的模 ...

上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个token或文本片段的大小范围。 在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。较大的上下文窗口可以提供更丰富的语义信息、消除歧义、处理上下文依赖性，并帮助模型生成连贯、准确的文本，还能更好地捕捉语言的上下文相关性，使得模型能够根据前文来做出更准确的预测或生成。 最新发布的语言大模型的上下文窗口越来越大。本文详细探讨了大型上下文窗口的技术可能性，尤其分析了将上下文长度增加到100K背后的六大优化技巧。 最近有几个新的语言大模型（LLM）发布，这些模型可以使用非常大的上下文窗口，例如65K 个tokens（MosaicML的MPT-7B-StoryWriter-65k+）和100K个tokens的上下文窗口（Antropic）。在Palm-2技术报告中，谷歌并没有透露具体上下文大小，但表示他们“显著增加了模型的上下文长度”。 相比之下，当前GPT-4模型可以使用32K个输入tokens的上下文长度，而大多数开源LLM的上下文长度为2K个tokens。 如此大的上下文长度意味 ...

大型语言模型是构建软件的强大新工具。但由于它们是如此之新，而且行为方式与普通计算资源如此不同，因此如何使用它们并不总是显而易见的。 在这篇文章中，我们将分享新兴 LLM 应用程序栈的参考架构。它展示了我们所见过的人工智能初创公司和尖端科技公司所使用的最常见的系统、工具和设计模式。这个堆栈仍处于早期阶段，可能会随着底层技术的发展而发生重大变化，但我们希望它能为现在使用 LLM 的开发人员提供有用的参考。 1、LLM App技术栈 这是我们当前的 LLM 应用程序栈视图： 以下是每个项目的链接列表，以供快速参考： Data pipelines Embedding model Vector database Playground Orchestration APIs/plugins LLM cache Databricks OpenAI Pinecone OpenAI Langchain Serp Redis Airflow Cohere Weaviate nat.dev LlamaIndex Wolfram SQLite Unstructured Hugging F ...

BLIP 是一种多模态 Transformer 模型，主要针对以往的视觉语言训练 (Vision-Language Pre-training, VLP) 框架的两个常见问题： 大多数现有的预训练模型仅在基于理解的任务或者基于生成的任务方面表现出色，很少有可以兼顾的模型。 大多数现有的预训练模型为了提高性能，使用从网络收集的嘈杂图像-文本对扩展数据集。这样虽然提高了性能，但是很明显这个带噪声的监督信号肯定不是最优的。 BLIP 这种新的 VLP 框架可以灵活地在视觉理解任务上和生成任务上面迁移，这是针对第一个问题的贡献。至于第二个问题，BLIP 提出了一种高效率利用噪声网络数据的方法。即先使用嘈杂数据训练一遍 BLIP，再使用 BLIP 的生成功能生成一系列通过预训练的 Captioner 生成一系列的字幕，再把这些生成的字幕通过预训练的 Filter 过滤一遍，得到干净的数据。最后再使用干净的数据训练一遍 BLIP。 论文地址: https://larxiv.org/pdf/2201.12086.pdf 背景 视觉语言训练 (Vision-Language Pre-trainin ...

BLIP2是BLIP的续作，是一种多模态 Transformer 模型，主要针对以往的视觉-语言预训练 (Vision-Language Pre-training, VLP) 模型端到端训练导致计算代价过高的问题，在多模态模型中，参数量和计算成本比较高的分别是image encoder和text encoder。 所以，如果能够使用预训练好的视觉模型和语言模型，把参数冻结，能够节约不少的计算代价。 BLIP-2提出了一种借助预训练好的参数的预训练视觉模型和大型语言模型（冻结住参数），高效的视觉语言预训练方法。 但是，简单的冻结预训练好的视觉模型的参数或者语言模型的参数会带来一个问题：就是视觉特征的空间和文本特征的空间，它不容易对齐。那么为了解决这个问题，BLIP-2 提出了一个轻量级的 Querying Transformer，该 Transformer 分两个阶段进行预训练。第一阶段从冻结的视觉编码器中引导多模态学习，第二阶段从冻结的文本编码器中引导多模态学习。 经过这样的流程，BLIP-2 在各种视觉语言任务上实现了最先进的性能，同时需要训练的参数也大大减少。 论文地址: http ...

当前开源大模型正在如火如荼的进行，随着LLAMA，BLOOM为代表的开源社区逐步完善，如何基于这两个模型更好地使用低成本、高性能的中文场景需求，目前已经出现了多种具有代表性的工作。 不过很现实的问题是，LLaMA词表中仅包含很少的中文字符，其对中文并不友好，BLOOM作为一个多语言模型，词表有过大，在训练过程中并不平民化。 因此，为了解决这个问题，通过干预词表，或通过增加词表，或裁剪词表，并加以预训练这一范式，已经逐步成为一个主流的方式。 因此，为了增强对该范式的认识，本文主要从LLAMA扩充词表以增强中文能力、Bloom裁剪词表以降低训练成本这两个角度进行介绍，充分借鉴了相关开源项目的代码原理一些实验论述，供大家一起参考。 一、LLaMA扩充词表以增强中文能力 《 Efficient and Effective Text Encoding for Chinese Llama and Alpaca》这一文章介绍了在LLaMA上进行中文词表扩充，以增强中文能力的工作。 项目地址：Github 1、LLaMA为什么要扩充词表 为什么要扩充词表？直接在原版LLaMA上用中文预训练不行吗？ 这 ...

ChatGPT 的出现，使中文社区意识到与国际领先水平的差距。近期，中文大模型研发如火如荼，但中文评价基准却很少。在 OpenAI GPT 系列 / Google PaLM 系列 / DeepMind Chinchilla 系列 / Anthropic Claude 系列的研发过程中，MMLU / MATH / BBH 这三个数据集发挥了至关重要的作用，因为它们比较全面地覆盖了模型各个维度的能力。 最值得注意的是 MMLU 这个数据集，它考虑了 57 个学科，从人文到社科到理工多个大类的综合知识能力。DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集，我们管它叫 C-Eval，来帮助中文社区研发大模型。 这篇文章是把我们构造 C-Eval 的过程记下来，与开 ...