人生在勤,不索何获

神经网络训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个权重赋一个初始值。这个初始值的选取十分关键。

据说开始训练神经网络很容易，许多库和框架都以可以用30行的奇迹代码片段解决你的数据问题而自豪，给人一种即插即用的(错误)印象。常见的做法是：

文章在CoNLL03 NER的F1值超过BERT达到了93.09左右，名副其实的state-of-art。考虑到BERT训练的数据量和参数量都极大，而该文方法只用一个GPU训了一周，就达到了state-of-art效果，值得花时间看看，总的来说，作者基于词的上下文字符级语言模型得到该词的表示，该模型的主要好处有:

• 可以在大型无标签数据集下进行训练。
• 利用上下文字符嵌入，可以更好地处理罕见和拼写错误的单词。
• 利用上下文字符嵌入，可以得到多义词的不同语境嵌入。

word2vec是google于2013年的《Distributed Representations of Words and Phrases and their Compositionality 》以及后续的《Efficient Estimation of Word Representations in Vector Space 》两篇文章中提出的一种高效训练词向量的模型, 基本出发点是上下文相似的两个词,它们的词向量也应该相似, 比如香蕉和梨在句子中可能经常出现在相同的上下文中，因此这两个词的表示向量应该就比较相似。本文前部分主要从理论方面介绍word2vec，后半部分主要基于PyTorch框架实现word2vec模型（skip-gram）。

所谓 ”工预善其事，必先利其器“， BERT之所以取得这么惊才绝艳的效果，很大一部分原因源自于Transformer。为了后面更好、更快地理解BERT模型，这一节从Transformer的开山鼻祖说起，先来跟着”Attention is All You Need[1]“ 这篇文章，走近transformer的世界，在这里你再也看不到熟悉的CNN、RNN的影子，取而代之的是，你将看到Attention机制是如何被发挥的淋漓尽致、妙至毫颠，以及它何以从一个为CNN、RNN跑龙套的配角实现华丽逆袭。对于Bert来说，transformer真可谓天纵神兵，出匣自鸣！

看完本文，你大概能够：

• 掌握Encoder-Decoder框架
• 掌握残差网络
• 掌握BatchNormalization(批归一化)和LayerNormalization(层归一化)
• 掌握Position Embedding(位置编码)

本系列文章希望对google BERT模型做一点解读。打算采取一种由点到线到面的方式，从基本的元素讲起，逐渐展开。

讲到BERT就不能不提到Transformer，而self-attention则是Transformer的精髓所在。简单来说，可以将Transformer看成和RNN类似的特征提取器，而其有别于RNN、CNN这些传统特征提取器的是，它另辟蹊径，采用的是attention机制对文本序列进行特征提取。

所以我们从self-Attention出发。