闲记算法

Arxiv今日论文 | 2026-02-27

发表于2026-02-27|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-27 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-27) 今日共更新644篇论文,其中: 自然语言处理共82篇(Computation and Language (cs.CL)) 人工智能共215篇(Artificial Intelligence (cs.AI)) 计算机视觉共139篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共206篇(Machine Learning (cs.LG)) 多智能体系统共9篇(Multiagent Systems (cs.MA)) 信息检索共35篇 ...

Arxiv今日论文 | 2026-02-26

发表于2026-02-26|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-26 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-26) 今日共更新517篇论文,其中: 自然语言处理共77篇(Computation and Language (cs.CL)) 人工智能共113篇(Artificial Intelligence (cs.AI)) 计算机视觉共123篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共151篇(Machine Learning (cs.LG)) 多智能体系统共10篇(Multiagent Systems (cs.MA)) 信息检索共15 ...

Arxiv今日论文 | 2026-02-25

发表于2026-02-25|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-25 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-25) 今日共更新517篇论文,其中: 自然语言处理共59篇(Computation and Language (cs.CL)) 人工智能共146篇(Artificial Intelligence (cs.AI)) 计算机视觉共125篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共149篇(Machine Learning (cs.LG)) 多智能体系统共12篇(Multiagent Systems (cs.MA)) 信息检索共15 ...

大模型数据合成新范式：2K样本打败30万，从特征空间精准狙击任务短板

发表于2026-02-25|自然语言处理大语言模型后训练数据合成与增强|Sparse Autoencoder•Feature Activation Coverage•Data Synthesis•Post-training•Interpretability•LLaMA•Mistral•Qwen•Cross-model Transfer•PAC-Bayesian Theory

【速读摘要】：该论文提出 Feature Activation Coverage (FAC) 指标，用于在 LLM 内部可解释特征空间度量数据多样性。基于 FAC，作者设计了两阶段数据合成框架 FAC Synthesis：首先通过 Sparse Autoencoder (SAE) 识别种子数据集中缺失的任务相关特征，然后生成显式激活这些特征的合成样本。实验表明，FAC 与下游任务性能呈强正相关（Pearson r=0.95r=0.95r=0.95），且该方法仅用 2K 合成样本即可达到 MAGPIE 300K 样本的指令跟随性能（150× 数据效率提升）。此外，作者发现 LLaMA、Mistral、Qwen 三大模型家族共享可解释特征空间，支持跨模型知识迁移。【论文链接】：arXiv:2602.10388 【机构信息】：University of Georgia（美国佐治亚大学）；University of California, San Diego（美国加州大学圣地亚哥分校）；Mohamed bin Zayed University of Artificial Intellige ...

mid-training：构建预训练与后训练之间的分布式桥梁

发表于2026-02-25|自然语言处理大语言模型大模型训练|Midtraining•分布式桥接•灾难性遗忘•持续预训练•课程学习•代码领域•数学领域•中间训练

【速读摘要】：本文系统研究了语言模型训练中"中训练"（Midtraining）阶段的作用——即在预训练和后训练之间插入一个混合专业数据的中间阶段。研究发现：1）Midtraining对代码、数学等与通用预训练数据差异较大的领域效果最显著；2）Midtraining能有效减少后训练阶段的灾难性遗忘；3）专业数据引入的时机和混合比例存在强交互作用——早期引入支持高混合比例，晚期引入则需保守混合；4）在减少遗忘方面，Midtraining始终优于纯持续预训练。【论文链接】：arXiv:2510.14865 (ICML 2026) 【机构信息】：Carnegie Mellon University - Language Technologies Institute 【开源链接】：https://anonymous.4open.science/r/midtraining-E5D8/ 【关键词】：midtraining, pretraining, finetuning, domain adaptation, catastrophic forgetting, distri ...

Arxiv今日论文 | 2026-02-24

发表于2026-02-24|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-24 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-24) 今日共更新550篇论文,其中: 自然语言处理共55篇(Computation and Language (cs.CL)) 人工智能共161篇(Artificial Intelligence (cs.AI)) 计算机视觉共141篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共149篇(Machine Learning (cs.LG)) 多智能体系统共11篇(Multiagent Systems (cs.MA)) 信息检索共19 ...

Arxiv今日论文 | 2026-02-23

发表于2026-02-23|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-23 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-23) 今日共更新412篇论文,其中: 自然语言处理共49篇(Computation and Language (cs.CL)) 人工智能共101篇(Artificial Intelligence (cs.AI)) 计算机视觉共60篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共159篇(Machine Learning (cs.LG)) 多智能体系统共5篇(Multiagent Systems (cs.MA)) 信息检索共16篇( ...

用"深度思考率"精准度量LLM推理质量

发表于2026-02-23|自然语言处理大语言模型推理能力评估|Deep-Thinking Ratio•Jensen-Shannon Divergence•Test-Time Scaling•Chain-of-Thought•Layer-wise Analysis•Early Stopping•Self-Consistency•Inference Efficiency•GPT-OSS•DeepSeek-R1•Qwen3

【速读】：该论文提出了一种新的推理质量度量指标——深度思考率（Deep-Thinking Ratio, DTR），通过分析模型内部各层预测分布的收敛行为来量化推理努力程度。研究发现，DTR与任务准确率呈现稳定正相关（平均r=0.683），显著优于基于token长度（r=-0.594）或置信度（r=0.605）的基线方法。基于此，作者设计了Think@n采样策略，在保持或超越标准自一致性性能的同时，将推理成本降低约50%。【论文链接】：arXiv:2602.13517 【机构信息】：University of Virginia（弗吉尼亚大学）；Google（谷歌）【开源链接】：未开源 1. 背景与核心洞察 (The Core Insight) 当前大语言模型（LLM）的推理能力主要通过生成显式的思维链（Chain-of-Thought, CoT）来实现，业界普遍采用"测试时计算扩展"（test-time compute scaling）策略——即通过生成更长的推理轨迹来提升任务性能。然而，一个日益凸显的问题是：token数量并非推理质量的可靠代理指标。近期多项 ...

Arxiv今日论文 | 2026-02-20

发表于2026-02-20|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-20 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-20) 今日共更新521篇论文,其中: 自然语言处理共71篇(Computation and Language (cs.CL)) 人工智能共169篇(Artificial Intelligence (cs.AI)) 计算机视觉共61篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共163篇(Machine Learning (cs.LG)) 多智能体系统共11篇(Multiagent Systems (cs.MA)) 信息检索共20篇 ...

前沿大模型训练方法：深度解析与实践指南

发表于2026-02-20|自然语言处理大型语言模型模型训练预训练|预训练•LLM•GQA•GRPO•SFT•后训练•中训练•MoE•RoPE•DeepSeek•Kimi

前言实验室如何训练一个拥有数百亿参数的前沿大模型？本文深入剖析七个开源权重的前沿模型：Hugging Face的 SmolLM3、Prime Intellect的 Intellect 3、Nous Research的 Hermes 4、OpenAI的 gpt-oss-120b、Moonshot的 Kimi K2、DeepSeek的 DeepSeek-R1 以及 Arcee的[Trinity series](https://github.com/arcee-ai/trinity-large-tech-report/blob/main/Arcee Trinity Large.pdf)。本文旨在提炼这些模型训练中使用的技术、动机和考量因素，重点关注训练方法而非基础设施。本文的结构主要参考 Hugging Face 详尽的 SmolLM3 技术报告，因其内容最为详尽，并补充了 Intellect-3、gpt-oss-120b、Hermes 4、DeepSeek 和 Kimi的相关笔记。Hugging Face 在这里详细介绍了 gpt-oss-120b 的基础设施。概述核心要点 ...