算法小黑屋

本篇博文主要记录在ubuntu 18.04环境下搭建SSR过程。

论文”Multi-Sample Dropout for Accelerated Training and Better Generalization“提出了一种Dropout的新用法，Multi-Sample Dropout可以加快训练速度以及产生更好的结果，本文我们将使用pytorch框架进行实验．

在机器学习或者深度学习实验中，我们通常使用大量的正则化技术，比如L1，L2，Dropout等来防止模型发生过拟合问题，在分类问题中，模型往往可以正确的预测训练样本，但是泛化能力比较弱，本文将讨论作为分类问题经常使用的正则化技术—标签平滑。

神经网络训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个权重赋一个初始值。这个初始值的选取十分关键。

据说开始训练神经网络很容易，许多库和框架都以可以用30行的奇迹代码片段解决你的数据问题而自豪，给人一种即插即用的(错误)印象。常见的做法是：

文章在CoNLL03 NER的F1值超过BERT达到了93.09左右，名副其实的state-of-art。考虑到BERT训练的数据量和参数量都极大，而该文方法只用一个GPU训了一周，就达到了state-of-art效果，值得花时间看看，总的来说，作者基于词的上下文字符级语言模型得到该词的表示，该模型的主要好处有:

• 可以在大型无标签数据集下进行训练。
• 利用上下文字符嵌入，可以更好地处理罕见和拼写错误的单词。
• 利用上下文字符嵌入，可以得到多义词的不同语境嵌入。