LiuWeiTang'Blog

动态时间调整(Dynamic Time Warping, DTW)是一种衡量两个时间序列之间的相似度的方法，主要应用在语音识别领域来识别两段语音是否表示同一个单词。 1. DTW方法原理 在时间序列中，需要比较相似性的两段时间序列的长度可能并不相等，在语音识别领域表现为不同人的语速不同。而且同一个单词内的不同音素的发音速度也不同，比如有的人会把‘A’这个音拖得很长，或者把‘i’发的很短。另外，不同时间序列可能仅仅存在时间轴上的位移，亦即在还原位移的情况下，两个时间序列是一致的。在这些复杂情况下，使用传统的欧几里得距离无法有效地求的两个时间序列之间的距离(或者相似性)。 DTW通过把时间序列进行延伸和缩短，来计算两个时间序列性之间的相似性： 如上图所示，上下两条实线代表两个时间序列，时间序列之间的虚线代表两个时间序列之间的相似的点。DTW使用所有这些相似点之间的距离的和，称之为归整路径距离(Warp Path Distance)来衡量两个时间序列之间的相似性。 2. DTW计算方法： 令要计算相似度的两个时间序列为X和Y，长度分别为|X|和|Y|。 2.1归整路径(Warp P ...

Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。在 Kaggle 上，企业或者研究机构发布商业和科研难题，悬赏吸引全球的数据科学家，通过众包的方式解决建模问题。而参赛者可以接触到丰富的真实数据，解决实际问题，角逐名次，赢取奖金。诸如 Google，Facebook，Microsoft 等知名科技公司均在 Kaggle 上面举办过数据挖掘比赛。2017年3月，Kaggle 被 Google CloudNext 收购。 1 参赛方式 可以以个人或者组队的形式参加比赛。组队人数一般没有限制，但需要在 Merger Deadline 前完成组队。为了能参与到比赛中，需要 在 Entry Deadline 前进行至少一次有效提交。最简单地，可以直接提交官方提供的 Sample Submission。关于组队，建议先 单独个人进行数据探索和模型构建，以个人身份进行比赛，在比赛后期（譬如离比赛结束还有 2~3 周）再进行组队，以充分发挥组队的效果（类似于模型集 成，模型差异性越大，越有可能有助于效果的提升，超越单模型的效果）。当然也可 ...

任何机器学习模型对所需数据的规范和格式都有一定的要求，在深度学习中通常要求输入算法的数据为一个多维矩阵的形式，因此，在建模之前都要对原始数据进行处理． Keras针对几种常见的输入数据形态，提供了几个易于使用的工具来处理数据，包括针对序列模型的数据预处理，针对文本模型的文字预处理，以及针对图片输入的预处理．所有函数都在Keras.preprocessing这个模块里面． 文字预处理 在文本建模实践中，一般都需要把原始文本进行分词，标记化处理，对于已经读入的文字的预处理包含以下几个步骤: 分词 建立索引 序列补齐 转化为矩阵 批处理 分词 分词主要利用到text.text_to_word_sequence函数，可以按照给定的分隔符进行分割文本， 1234keras.preprocessing.text.text_to_word_sequence(text, filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~\t\n', ...

在keras中主要有两大类深度学习模型: 一类是序列模型(Sequential)；另一类是通用模型(Model)，其中的差异主要体现在拓扑结构上． 序列模型 可以说序列模型是通用模型的一个子类，这种模型各层之间是依次顺序的线性关系，通常是叠加形式构造深度学习模型，比如: 12345678from keras.models import Sequentialfrom keras.layers import Dense,Activationmodel = Sequential()model.add(Dense(32,input_shape=(784,)))model.add(Activation('relu'))model.add(Dense(10))model.add(Activation("softmax")) 通用模型 通用模型可以用来设计比较复杂，任意结构的深度学习模型，比如: 12345678910111213141516from keras.layers import Input,Densefrom keras.models import Model# 定义输入层，主要是 ...

债务违约预测是Kaggle中的一个比赛，本文将介绍取得第一名成绩的方法，本次比赛的目标包括两个方面。其一是建立一个模型，债务人可以通过它来更好地进行财务方面的决策。其二是债权人可以预测这个债务人何时会陷入到财务方面的困境。最终目的是，通过预测未来两年内债务违约的概率，来改进现有的信用评分制度。这是一个极度复杂和困难的Kaggle挑战，因为银行和各种借贷机构一直都在不断地寻找和优化信用评分的算法。这个模型是银行用来判定是否准许某一笔贷款的。根据这个模型提供的信息，银行可以更好地作出决策，借贷者也可以更好地进行财务方面的规划，以免将来陷入债务危机。 本次挑战允许团队使用集成模型和算法,如XGBoost, Gradient Boosting, 随机森林（Random Forest）, 限制玻尔兹曼机(Restricted Boltzman Machine Neural Networks), Adaboost。以及使用先进的堆叠技术（stacking）和投票分类器来准确地预测违约概率。 我们的测量和排名严格使用ROC曲线的AUC值。我们遵照了Agile过程，来确保我们分块、并行地完成关键的任 ...

主要是常用的画图函数 主要是常用的数据分析函数模块 加载所需要模块 1234567import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snscolor = sns.color_palette()# pd.options.mode.chained_assignment = None%matplotlib inline 读取数据 12train = pd.read_json("train.json")test = pd.read_json("test.json") 显示前5行 1train.head() 从上可以看到数据类型都有：数值型，类别型，时间特征，文本特征… 查看数据的行数: 12print("Train Rows: ",train.shape[0])print("Test Rows: ",test.shape[0]) 条形图 利用矩阵条的高度反映数值变量的集中趋势,某一类别下出现个数等等，比如 123456int_level = train['intere ...

尽管近年来神经网络复兴并大为流行，但是 boosting 算法在训练样本量有限、所需训练时间较短、缺乏调参知识等场景依然有其不可或缺的优势。本文从算法结构差异、每个算法的分类变量时的处理、算法在数据集上的实现等多个方面对 3 种代表性的 boosting 算法 CatBoost、Light GBM 和 XGBoost 进行了对比；虽然本文结论依据于特定的数据集，但通常情况下，XGBoost 都比另外两个算法慢。 2014 年 3 月，XGBOOST 最早作为研究项目，由陈天奇提出 2017 年 1 月，微软发布首个稳定版 LightGBM 2017 年 4 月，俄罗斯顶尖技术公司 Yandex 开源 CatBoost 由于 XGBoost（通常被称为 GBM 杀手）已经在机器学习领域出现了很久，如今有非常多详细论述它的文章，所以本文将重点讨论 CatBoost 和 LGBM，在下文我们将谈到： 算法结构差异 每个算法的分类变量时的处理 如何理解参数 算法在数据集上的实现 每个算法的表现 LightGBM 和 XGBoost 的结构差异 在过滤数据样例寻找分割值时，Ligh ...

没有任何捷径能一步掌握数据探索．如果你想要提高模型的准确性，你会发现数据探索会极大地帮助你提高模型的准确度. 我可以很自信地说，因为我经历过很多这样的情况。 本教程帮助您理解数据挖掘的底层技术。和往常一样，我尽力用最简单的方式来解释这些概念。为了更好的理解，我举了几个例子来演示复杂的概念。 数据准备 记住一点，我们输入的数据的质量决定了我们输出的质量，因此，一旦你拿到了你的业务准备，是值得花费时间和精力在这上面的。根据我个人的经验而言，数据探索、清洗和准备能耗费整个项目的70%的时间。下面是为建立你的预测性模型所做的数据理解、清洗和准备工作： 变量识别 单变量分析 双变量分析 缺失值处理 异常值检测 变量转换 变量创造 最终，我们将需要在提出我们的模型之前重复前面步骤4-7多次 现在让我们从每个步骤的细节学起 变量识别 首先，搞明白自变量（predictor（input））和因变量（target（output））。下一步，清楚数据类型和变量类别. 让我们通过一个例子更清楚的理解这个步骤： Example：-假设，我们要预测学生是否将会打板球（参考下 ...

超参数优化是实现模型性能最大化的重要步骤。为此大神们专门开发了几个Python包。scikitt -learn提供了一些选项，GridSearchCV和RandomizedSearchCV是两个比较流行的选项。在scikitt之外，Optunity、Spearmint和hyperopt包都是为优化设计的。在这篇文章中，我将重点介绍hyperopt软件包，它提供了能够超越随机搜索的算法，并且可以找到与网格搜索相媲美的结果，同时也能找到更少的模型。 接口说明 具体的详细文档: http://www.coxlab.org/pdfs/2013_bergstra_hyperopt.pdf fmin接口：需要定义一个概率分布，确保能在变化的超参中找到一个可信的值。就像scipy中的optimize.minimize借口。因此需要我们提供一个优化的目标函数。很多优化算法都要假设在一个向量空间里面搜索最佳值，hyperopt可以对搜索空间进一步细化，比如说使用log话活着均匀分布随机获取之类。 hyperopt需要定义的主要有四个地方： 1.需要最小化的目标函数 2.优化所需要搜索的 ...