2019达观杯信息提取第九名方案介绍以及代码地址
Multi-Sample Dropout for Accelerated Training and Better Generalization
论文<<Multi-Sample Dropout for Accelerated Training and Better Generalization>>提出了一种Dropout的新用法，Multi-Sample Dropout可以加快训练速度以及产生更好的结果，本文我们将使用pytorch框架进行实验．
训练神经网络不得不看的33个技巧
据说开始训练神经网络很容易，许多库和框架都以可以用30行的奇迹代码片段解决你的数据问题而自豪，给人一种即插即用的(错误)印象。常见的做法是：
论文阅读-Contextual String Embeddings for Sequence Labeling
文章在CoNLL03 NER的F1值超过BERT达到了93.09左右，名副其实的state-of-art。考虑到BERT训练的数据量和参数量都极大，而该文方法只用一个GPU训了一周，就达到了state-of-art效果，值得花时间看看，总的来说，作者基于词的上下文字符级语言模型得到该词的表示，该模型的主要好处有:
- 可以在大型无标签数据集下进行训练。
- 利用上下文字符嵌入，可以更好地处理罕见和拼写错误的单词。
- 利用上下文字符嵌入，可以得到多义词的不同语境嵌入。
基于PyTorch实现word2vec模型
word2vec是google于2013年的《Distributed Representations of Words and Phrases and their Compositionality 》以及后续的《Efficient Estimation of Word Representations in Vector Space 》两篇文章中提出的一种高效训练词向量的模型, 基本出发点是上下文相似的两个词,它们的词向量也应该相似, 比如香蕉和梨在句子中可能经常出现在相同的上下文中，因此这两个词的表示向量应该就比较相似。本文前部分主要从理论方面介绍word2vec，后半部分主要基于PyTorch框架实现word2vec模型（skip-gram）。
Transformer原理和实现
所谓 ”工预善其事，必先利其器“， BERT之所以取得这么惊才绝艳的效果，很大一部分原因源自于Transformer。为了后面更好、更快地理解BERT模型，这一节从Transformer的开山鼻祖说起，先来跟着”Attention is All You Need[1]“ 这篇文章，走近transformer的世界，在这里你再也看不到熟悉的CNN、RNN的影子，取而代之的是，你将看到Attention机制是如何被发挥的淋漓尽致、妙至毫颠，以及它何以从一个为CNN、RNN跑龙套的配角实现华丽逆袭。对于Bert来说，transformer真可谓天纵神兵，出匣自鸣！
看完本文，你大概能够：
- 掌握Encoder-Decoder框架
- 掌握残差网络
- 掌握BatchNormalization(批归一化)和LayerNormalization(层归一化)
- 掌握Position Embedding(位置编码)