本系列文章希望对google BERT模型做一点解读。打算采取一种由点到线到面的方式，从基本的元素讲起，逐渐展开。
讲到BERT就不能不提到Transformer，而self-attention则是Transformer的精髓所在。简单来说，可以将Transformer看成和RNN类似的特征提取器，而其有别于RNN、CNN这些传统特征提取器的是，它另辟蹊径，采用的是attention机制对文本序列进行特征提取。
所以我们从self-Attention出发。
论文阅读-cw2vec Learning Chinese Word Embeddings with Stroke n-gram Information
cw2vec是蚂蚁金服2018年提出的基于笔画的中文词的embedding 方法。文中作者提到利用笔画级别的信息对于改进中文词语嵌入的学习至关重要。具体来说，首先将词转化为笔画序列，然后通过对笔画序列进行n-gram来捕获中文单词的语义和形态信息。
PyTorch常用代码段
记录一些常用的Pytorch代码，方便后续查找。
BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding
谷歌AI语言组论文《BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding》，介绍一种新的语言表征模型BERT——Transformers的双向编码器表征量。异于最新语言表征模型，BERT基于所有层的左、右语境来预训练深度双向表征量。BERT是首个大批句子层面和词块层面任务中取得当前最优性能的表征模型，性能超越许多使用任务特定架构的系统，刷新11项NLP任务当前最优性能记录，堪称最强NLP预训练模型！未来可能成为新行业基础。本文参考网上各大文章，整理翻译了BERT论文，在自己学习的同时也分享给大家，欢迎交流指教。
Notes: 本篇论文里面包含了详细的技巧，建议直接看原始论文或者该翻译版本。
Pytorch深度学习入门
在本教程中，将使用Pytorch框架介绍深度学习，并通过一个简单案例进行实验，通过本教程，你将可以轻松地使用Pytorch框架构建深度学习模型。（我也刚刚接触Pytorch）
如何找到一个好的学习率
我们知道学习率是深度学习模型中一个非常重要的超参数，因此，当训练深度学习模型时，我们如何确定学习率的大小？ 如果学习率太小，网络将会训练很慢且耗时（比如学习率设置为1e-6)。如果学习率太高，网络在训练过程中可能会跳过最小值点。更糟糕的是，高学习率可能会导致loss不断变大，这样就脱离了模型的学习目标。