闲记算法

发表于2026-02-23|自然语言处理大语言模型推理能力评估|Deep-Thinking Ratio•Jensen-Shannon Divergence•Test-Time Scaling•Chain-of-Thought•Layer-wise Analysis•Early Stopping•Self-Consistency•Inference Efficiency•GPT-OSS•DeepSeek-R1•Qwen3

【速读】：该论文提出了一种新的推理质量度量指标——深度思考率（Deep-Thinking Ratio, DTR），通过分析模型内部各层预测分布的收敛行为来量化推理努力程度。研究发现，DTR与任务准确率呈现稳定正相关（平均r=0.683），显著优于基于token长度（r=-0.594）或置信度（r=0.605）的基线方法。基于此，作者设计了Think@n采样策略，在保持或超越标准自一致性性能的同时，将推理成本降低约50%。【论文链接】：arXiv:2602.13517 【机构信息】：University of Virginia（弗吉尼亚大学）；Google（谷歌）【开源链接】：未开源 1. 背景与核心洞察 (The Core Insight) 当前大语言模型（LLM）的推理能力主要通过生成显式的思维链（Chain-of-Thought, CoT）来实现，业界普遍采用"测试时计算扩展"（test-time compute scaling）策略——即通过生成更长的推理轨迹来提升任务性能。然而，一个日益凸显的问题是：token数量并非推理质量的可靠代理指标。近期多项 ...

Arxiv今日论文 | 2026-02-20

发表于2026-02-20|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-20 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-20) 今日共更新521篇论文,其中: 自然语言处理共71篇(Computation and Language (cs.CL)) 人工智能共169篇(Artificial Intelligence (cs.AI)) 计算机视觉共61篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共163篇(Machine Learning (cs.LG)) 多智能体系统共11篇(Multiagent Systems (cs.MA)) 信息检索共20篇 ...

前沿大模型训练方法：深度解析与实践指南

发表于2026-02-20|自然语言处理大型语言模型模型训练预训练|预训练•LLM•GQA•GRPO•SFT•后训练•中训练•MoE•RoPE•DeepSeek•Kimi

前言实验室如何训练一个拥有数百亿参数的前沿大模型？本文深入剖析七个开源权重的前沿模型：Hugging Face的 SmolLM3、Prime Intellect的 Intellect 3、Nous Research的 Hermes 4、OpenAI的 gpt-oss-120b、Moonshot的 Kimi K2、DeepSeek的 DeepSeek-R1 以及 Arcee的[Trinity series](https://github.com/arcee-ai/trinity-large-tech-report/blob/main/Arcee Trinity Large.pdf)。本文旨在提炼这些模型训练中使用的技术、动机和考量因素，重点关注训练方法而非基础设施。本文的结构主要参考 Hugging Face 详尽的 SmolLM3 技术报告，因其内容最为详尽，并补充了 Intellect-3、gpt-oss-120b、Hermes 4、DeepSeek 和 Kimi的相关笔记。Hugging Face 在这里详细介绍了 gpt-oss-120b 的基础设施。概述核心要点 ...

Arxiv今日论文 | 2026-02-19

发表于2026-02-19|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-19 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-19) 今日共更新482篇论文,其中: 自然语言处理共85篇(Computation and Language (cs.CL)) 人工智能共136篇(Artificial Intelligence (cs.AI)) 计算机视觉共66篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共170篇(Machine Learning (cs.LG)) 多智能体系统共14篇(Multiagent Systems (cs.MA)) 信息检索共12篇 ...

AI Skills 生态系统深度解析：从 Prompt Engineering 到 Agentic 基础设施的范式跃迁

发表于2026-02-18|自然语言处理大语言模型智能体系统|Agent•Prompt•Skill

TL;DR: 本文系统梳理了当前 GitHub 上 10 个主流 AI Skills 仓库（累计超过 5,000+ Stars），揭示了一个正在形成的去中心化 Agent 能力市场。Anthropic 主导的 Agent Skills 开放标准正在获得 OpenAI、Google、Microsoft、Cursor 等主流厂商的广泛采纳，这标志着 AI 辅助开发从"一次性 Prompt 工程"向"可复用、可组合、可交易的技能单元"的根本性转变。一、核心洞察：为什么 AI Skills 正在重塑开发范式 1.1 从 Prompt 到 Skill：抽象层级的跃升传统的大模型交互模式是命令式的——开发者每次都需要精心构造 Prompt。而 AI Skills 引入了一种声明式的抽象： 12345Prompt Engineering (v1.0) ↓ 抽象封装Skill-as-Code (v2.0) ↓ 标准化Agent Skills Standard (v3.0) 这种抽象层级的跃升带来了三个关键收益：可复用性: 一个 Skil ...

Arxiv今日论文 | 2026-02-18

发表于2026-02-18|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-18 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-18) 今日共更新402篇论文,其中: 自然语言处理共53篇(Computation and Language (cs.CL)) 人工智能共130篇(Artificial Intelligence (cs.AI)) 计算机视觉共55篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共119篇(Machine Learning (cs.LG)) 多智能体系统共7篇(Multiagent Systems (cs.MA)) 信息检索共10篇( ...

DART：通过梯度隔离解决Agentic RL中推理与工具使用的干扰问题

发表于2026-02-17|自然语言处理大语言模型智能体系统强化学习参数高效微调|Agent•LoRA•Agentic RL•Gradient Disentanglement•Tool-use•Reasoning•Multi-LoRA•LEAS•GRPO•梯度冲突•RL

【速读】：本文揭示了Agentic RL中一个被长期忽视的核心问题——推理（Reasoning）与工具使用（Tool-use）能力在共享参数空间下的联合优化会产生严重的梯度冲突，导致"跷跷板"现象（提升一个能力会损害另一个）。作者提出LEAS（线性效应归因系统）定量验证了这一干扰的存在，并设计了DART框架：通过为两种能力分配独立的LoRA适配器，在token级别进行梯度隔离，从而在单模型内实现与双模型系统相当的性能，同时避免了多Agent系统的存储与推理开销。【机构】：Renmin University of China（中国人民大学）；Bytedance Inc.（字节跳动）【开源】：未开源 1. 背景与核心洞察 (The Core Insight) Agentic Reinforcement Learning（ARL）旨在训练能够交错执行复杂推理与外部工具调用的大语言模型。当前主流范式（如Search-R1、ToolRL等）普遍采用单一共享参数空间来联合优化这两种能力，其隐含的假设是：推理与工具使用可以和谐共存于同一参数子空间，且联合训练能够带来协同增益 ...

Arxiv今日论文 | 2026-02-17

发表于2026-02-17|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-17 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-17) 今日共更新998篇论文,其中: 自然语言处理共139篇(Computation and Language (cs.CL)) 人工智能共363篇(Artificial Intelligence (cs.AI)) 计算机视觉共187篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共294篇(Machine Learning (cs.LG)) 多智能体系统共35篇(Multiagent Systems (cs.MA)) 信息检索共3 ...

Arxiv今日论文 | 2026-02-16

发表于2026-02-16|学术会议Arxiv|Arxiv

本篇博文主要内容为 2026-02-16 从Arxiv.org论文网站获取的最新论文列表，自动更新，按照NLP、CV、ML、AI、IR、MA六个大方向区分。说明：每日论文数据从Arxiv.org获取，每天早上12:30左右定时自动更新。提示: 当天未及时更新，有可能是Arxiv当日未有新的论文发布，也有可能是脚本出错。尽可能会在当天修复。目录概览自然语言处理CL 多智能体系统MA 信息检索IR 人机交互HC 人工智能AI 机器学习LG 计算机视觉CV 概览 (2026-02-16) 今日共更新495篇论文,其中: 自然语言处理共61篇(Computation and Language (cs.CL)) 人工智能共126篇(Artificial Intelligence (cs.AI)) 计算机视觉共93篇(Computer Vision and Pattern Recognition (cs.CV)) 机器学习共154篇(Machine Learning (cs.LG)) 多智能体系统共11篇(Multiagent Systems (cs.MA)) 信息检索共20篇 ...

SRFT：基于熵感知的单阶段SFT-RL统一微调方法

发表于2026-02-14|自然语言处理大语言模型强化学习|课程学习•GRPO•SFT•SRFT•SFT-RL融合•熵感知权重•数学推理•策略优化•RFT•强化微调

【速读】：该论文试图解决SFT与RL在LLM推理任务中的最优整合问题。核心洞察是：SFT对策略分布进行粗粒度全局调整，而RL进行细粒度选择性优化；熵可作为训练有效性的关键指标。解决方案是SRFT——一种单阶段方法，通过熵感知权重机制统一SFT和RL，同时利用演示数据和自探索rollout直接优化LLM。【机构】：中国科学院自动化研究所（Institute of Automation, Chinese Academy of Sciences）；中国科学院大学人工智能学院（School of Artificial Intelligence, University of Chinese Academy of Sciences）；美团（Meituan）；上海交通大学（Shanghai Jiao Tong University）【开源】：模型已开源至 https://huggingface.co/Yuqian-Fu/SRFT 1. 背景与核心洞察 (The Core Insight) 大语言模型在推理任务上的进展令人瞩目，但如何最优地整合监督微调（SFT）与强化学习（RL）仍是一个根本性的 ...