闲记算法

在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬)，并将持续更新… 最新的模型汇总地址github： https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models Expand Table of Contents NLU系列 BERT RoBERTa ALBERT NEZHA XLNET MacBERT WoBERT ELECTRA ZEN ERNIE ERNIE3 RoFormer StructBERT Lattice-BERT Mengzi-BERT ChineseBERT TaCL MC-BERT 二郎神 PERT MobileBERT GAU-α DeBERTa GlyphBERT NLG系列 GPT GPT-3 NEZHA-GEN CPM-Generate T5 T5-PEGASUS Mengzi-T5 盘古α EVA BART 闻仲 余元 R ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-02-07) 今日共更新512篇论文,其中: 41篇自然语言处理（NLP: cs.CL) 107篇计算机视觉(CV: cs.CV) 170篇机器学习(ML: cs.LG) 25篇人工智能(AI: cs.AI) 6篇信息检索(IR: cs.IR) 其它主题163篇 自然语言处理 NLP-0-标题: Erasure of Unaligned Attributes from Neural Representations 链接: https://arxiv.org/abs/2302.02997 作者: Shun ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-02-06) 今日共更新277篇论文,其中: 24篇自然语言处理（NLP: cs.CL) 55篇计算机视觉(CV: cs.CV) 91篇机器学习(ML: cs.LG) 19篇人工智能(AI: cs.AI) 1篇信息检索(IR: cs.IR) 其它主题87篇 自然语言处理 NLP-0-标题: GLADIS: A General and Large Acronym Disambiguation Benchmark EACL23 链接: https://arxiv.org/abs/2302.01860 作者: ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-02-03) 今日共更新309篇论文,其中: 26篇自然语言处理（NLP: cs.CL) 52篇计算机视觉(CV: cs.CV) 111篇机器学习(ML: cs.LG) 28篇人工智能(AI: cs.AI) 2篇信息检索(IR: cs.IR) 其它主题90篇 自然语言处理 NLP-0-标题: IC3: Image Captioning by Committee Consensus 链接: https://arxiv.org/abs/2302.01328 作者: David M. Chan, Austin ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-02-02) 今日共更新316篇论文,其中: 30篇自然语言处理（NLP: cs.CL) 47篇计算机视觉(CV: cs.CV) 103篇机器学习(ML: cs.LG) 16篇人工智能(AI: cs.AI) 4篇信息检索(IR: cs.IR) 其它主题116篇 自然语言处理 NLP-0-标题: Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data 链接: https://arxiv.org/abs/2302 ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-02-01) 今日共更新317篇论文,其中: 35篇自然语言处理（NLP: cs.CL) 63篇计算机视觉(CV: cs.CV) 104篇机器学习(ML: cs.LG) 10篇人工智能(AI: cs.AI) 1篇信息检索(IR: cs.IR) 其它主题104篇 自然语言处理 NLP-0-标题: PADL: Language-Directed Physics-Based Character Control 链接: https://arxiv.org/abs/2301.13868 作者: Jordan Jur ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-01-31) 今日共更新644篇论文,其中: 59篇自然语言处理（NLP: cs.CL) 109篇计算机视觉(CV: cs.CV) 217篇机器学习(ML: cs.LG) 34篇人工智能(AI: cs.AI) 6篇信息检索(IR: cs.IR) 其它主题219篇 自然语言处理 NLP-0-标题: Advancing Radiograph Representation Learning with Masked Record Modeling ICLR2023 链接: https://arxiv.org/ab ...

本篇博文主要展示每日从Arxiv论文网站获取的最新论文列表，每天早上11:30点定时自动更新，主要按照NLP、CV、ML、AI、IR五个大方向区分，若需要邮件定时接收，请在评论区留下你的邮箱号。 说明：每日论文数据从arxiv网站获取，每天早上11:30左右定时自动更新。 友情提示: 如何您需要邮箱接收每日论文数据，请在评论处留下你的邮箱，同样每天11:30左右邮件定时自动发送。 目录 概览 自然语言处理 机器学习 计算机视觉 信息检索 人工智能 概览 (2023-01-30) 今日共更新276篇论文,其中: 36篇自然语言处理（NLP: cs.CL) 46篇计算机视觉(CV: cs.CV) 98篇机器学习(ML: cs.LG) 4篇人工智能(AI: cs.AI) 0篇信息检索(IR: cs.IR) 其它主题92篇 自然语言处理 NLP-0-标题: Large Language Models Are Implicitly Topic Models: Explaining and Finding Good Demonstrations for In-Context Lea ...

从BERT面世的第二天，笔者就实现了BERT用于序列标注的工作，几乎是全网最早的用BERT做序列标注的工作，到今天离线场景下，BERT做序列标注已经成为一种普惠技术。从huggingface开源Transformers的几乎最早的时间开始跟进，复现组内早期基于Tensorflow做中文纠错的工作，之后模型侧的工作基本一直基于该框架完成。从BERT早期的一系列比较fancy的工作一直在跟进，到组内推广Transformers的使用，到如今PyTorch地位飙升，Transformers社区受众极广，BERT几乎是笔者过去很长一段时间经常讨论的话题。 但是，围绕BERT，最为诟病的一个问题：模型太重，inference时间太长，效果好，但是在线场景基本不能使用？ 围绕该问题，学术界和工业界有太多的工作在做。这篇文章简单梳理一些具体的研究方向，同时围绕笔者个人比较感兴趣的一个方向，做一些评测和对比。 那么，具有有哪些研究方向呢？整体上，有两种观察视角。一种是train和inference，另一种是算法侧和工程侧，这里不做具体的区分。 模型大，是慢的一个重要原因，那就换小模型 模型大，通过模 ...

智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。本次分享的主题是QQ浏览器搜索中的智能问答技术。 问答在搜索中的应用 问答的核心是通过理解语言和运用知识来进行提问和回答。从应用角度看，由于人类有获取信息的需求和旺盛的好奇心，问答的场景无处不在；从研究角度看，问答是认知智能的前沿之一。 问答在搜索场景的应用可以分为两类。一类是满足用户的直接搜索需求，即在搜索结果页给用户提供精准的答案，例如Top1问答卡片。另一类是通过问答的方式与用户交互，来帮助用户澄清、细化和延伸需求，例如推荐和对话形式的问答。 搜索中的Top1问答 下图展示了QQ浏览器搜索中Top1问答的一些产品形态，包括短答案、长答案、列表答案、视频答案、集合和图片答案。 搜索问答技术与系统 搜索中问答的明确需求占比接近1/4。这些问题不限领域，不限类型，一般可分成事实类和非事实类。搜索中问答的数据源是多种多样的。从资源类型上看，包括网页、UGC（用户生产内容，如社区问答）和PGC（专业生产内容，例如自媒体号）。从文本的组织形态上来讲，数据可以 ...

简介 本方案由大华DahuaKG团队提供，在本次竞赛中本方案获二等奖。DahuaKG团队由来自浙江大华技术股份有限公司大数据研究院知识图谱团队的成员组成，大华知识图谱团队专注于行业知识图谱构建和自然语言处理等技术的研究与应用，并致力于相关技术在语义检索、信息提取、文本理解、图挖掘、智能交互等任务上完成产业落地，为大华数据智能解决方案提供NLP和知识图谱相关领域的算法支撑。 整体上，我们基于预训练语言模型NeZha构建商品标题实体识别模型，通过继续预训练加微调的训练范式学习模型参数，并有效结合数据增强、损失函数优化、对抗训练等手段逐步提升模型性能。该方案简单有效，复现流程不超过36小时，线上推断1万条样本仅需254秒（NVIDIA T4，单卡）。 赛题介绍 赛题链接：https://www.heywhale.com/home/competition/620b34ed28270b0017b823ad 本赛题要求选手用模型抽取出商品标题文本中的关键信息，是典型的命名实体识别任务。要求准确抽取商品标题中的相关实体，有助于提升检索、推荐等业务场景下的用户体验和平台效率，是电商平台一项核心的基础任 ...

很多初学者同学在投稿的时候经常会出现一些共有的小错误，为了节省大家的时间和帮助大家能够尽快的定位一些小的问题。本项目总结了我们在自己投稿过程中的经验和一些身边老师同学的投稿经验，希望能对大家有所帮助，由于我们的水平有限，如有疏漏，还望谅解。谢谢大家。 本项目的特色： 写前必看：包含一些常见的错误，每个错误均配有例子，可以在动手写论文之前快速浏览。 终稿必查：包含一些例子，方便快速定位是否自己的论文有错误。 百家之言：整理了一些网络上公开的写作资源（并不完全，欢迎补充），方便大家系统学习。 免责声明 本项目列举的所有技巧仅供参考，并不保证正确。本文主要关注于顶会论文，论文写作以实际需求为准。熟悉写作技巧可能会使写作没有明显的失误，而优秀的论文需要不断打磨。 所有内容仅仅来自于笔者的个人经验、互联网数据、笔者团队日常科研工作中的相关积累，以及笔者团队身边各位大佬的言传身教。有任何问题，欢迎提交 Issue 或 PR。另本项目所用徽章来自互联网，如侵犯了您的图片版权请联系我们删除，谢谢。 解释 下文中，标注"Attention"的内容，是目前组织者认为有（较为）明 ...