闲记算法

本篇文章主要介绍如何使用TensorFlow构建自己的图片数据集TFRecord的方法，并使用最新的数据处理Dataset API进行操作。 TFRecord TFRecord数据文件是一种对任何数据进行存储的二进制文件，能更好的利用内存，在TensorFlow中快速的复制，移动，读取，存储等，只要生成一次TFRecord，之后的数据读取和加工处理的效率都会得到提高。 一般来说，我们使用TensorFlow进行数据读取的方式有以下4种： （1）预先把所有数据加载进内存 （2）在每轮训练中使用原生Python代码读取一部分数据，然后使用feed_dict输入到计算图 （3）利用Threading和Queues从TFRecord中分批次读取数据 （4）使用Dataset API (1)方案对于数据量不大的场景来说是足够简单而高效的，但是随着数据量的增长，势必会对有限的内存空间带来极大的压力，还有长时间的数据预加载，甚至导致我们十分熟悉的OutOfMemoryError。 (2)方案可以一定程度上缓解了方案(1)的内存压力问题，但是由于在单线程环境下我们的IO操作一般都是同步阻塞的，势 ...

SpatialDropout是Tompson等人在图像领域提出的一种dropout方法。普通的dropout会随机地将部分元素置零，而SpatialDropout会随机地将部分区域置零，该dropout方法在图像识别领域实践证明是有效的。 dropout dropout是怎么操作的？一般来说，对于输入的张量x，dropout就是随机地将部分元素置零，然后对结果做一个尺度变换。比如，我们随机初始化一个5x10的二维矩阵，即； 123456789101112131415161718192021import numpy as npx = np.random.random((4,5))print(x)def Dropout(x,drop_proba): return x * np.random.choice( [0,1], x.shape, p = [drop_proba,1-drop_proba] ) / (1. - drop_proba)print(Dropout(x,0.5))# x[[0.56189429 0.03603615 0 ...

以往我们在构建模型并进行训练时，一般都是先建立placeholder，然后使用Seeion中的feed_dict机制将数据feed给模型进行训练或者预测。使用这种方式十分灵活，可以将所有数据读入内存中，然后按照batch进行feed；也可以建立一个generator，然后按照一个batch大小将数据读入。但是这种方式效率较低，难以满足高速计算的需求。Tensorflow开发者也建议停止使用这种方式进行数据交互操作。因此在后续的Tensorflow新版本中，我们看到了Dataset这种高效的数据处理模块。 创建Dataset 在Dataset模块中，每一个数据集代表一个数据来源：数据来源可能来自一个张量，一个文本文件，一个TFRecord文件，或者一个numpy等等。如果训练数据无法全部写入内存中，这时候我们可以使用一个迭代器(iterator)按顺序进行读取。 接下来，我们简单看看不同数据源的读取方式: from_tensor_slice:该方法接受单个(或多个)Numpy(或张量)对象。如果输入的是多个对象，则需要保证多个对象之间的大小相同。 12345678910111213 ...

TensorFlow 高效编程。 一、TensorFlow 基础 TensorFlow 和其他数字计算库（如 numpy）之间最明显的区别在于 TensorFlow 中操作的是符号。这是一个强大的功能，这保证了 TensorFlow 可以做很多其他库（例如 numpy）不能完成的事情（例如自动区分）。这可能也是它更复杂的原因。今天我们来一步步探秘 TensorFlow，并为更有效地使用 TensorFlow 提供了一些指导方针和最佳实践。 我们从一个简单的例子开始，我们要乘以两个随机矩阵。首先我们来看一下在 numpy 中如何实现： 12345import numpy as npx = np.random.normal(size=[10, 10])y = np.random.normal(size=[10, 10])z = np.dot(x, y)print(z) 现在我们使用 TensorFlow 中执行完全相同的计算： 1234567import tensorflow as tfx = tf.random_normal([10, 10])y = tf.random_normal( ...

einsum，这是我开发深度学习模型时最喜欢的函数。这篇文章将从PyTorch角度出发，如何使用torch.einsum进行相关的矩阵计算操作。 einsum符号 如果你很难记住PyTorch\TensorFlow中所有中用于计算点积、外积、转置和矩阵向量或矩阵矩阵乘法的不同函数的名称或者使用方式。那么你就急需要einsum，einsum表示法是以一种优雅的方式来表达所有这些矩阵、向量或者张量的复杂计算操作。基本上使用的是一种特定于域的语言。这样做的好处不仅仅是不需要记忆或定期查找特定的库或者函数。一旦您理解并使用einsum，您将能够更快地编写更简洁、更高效的代码。目前主流深度学习框架中都包含了einsum的实现，比如PyTorch中的torch.einsum和TensorFlow中的tf.einsum。 假设我们要计算两个矩阵A∈RI×K{\color{red}\mathbf{A}} \in \mathbb{R}^{I \times K}A∈RI×K和B∈RK×J{\color{blue}\mathbf{B}}\in\mathbb{R}^{K \times J}B∈RK×J的相乘 ...

主要来自于kaggle比赛 Talking Data competition on Kaggle,构建一个模型来预测用户在移动端点击广告之后是否会下载应用app，主要数据字段如下: ip: 点击广告行为的ip地址 app: app id device: 用户手机的设备类型，比如（iPhone6 plus，iPhone7 等） os： 用户手机的系统版本号 channel： 移动广告发布的channel id click_time: 用户点击广告时间 attributed_time: 如果用户在点击广告之后下载了应用程序，则表示用户的下载时间 is_attributed: 预测变量，应用程序是否被下载 这份数据集中，ip，device和os组合一起基本上可以表示一名用户，但是某些情况下，存在一个ip地址被许多用户共享。在这次比赛中，这样的数据会增加问题的复杂性，为了简单化，忽略掉。另外channel数据似乎没啥作用，对其进行删除。赛方提供大约2亿条数据，目标是预测用户是否下载应用程序。 这让人想起推荐系统，它的目标是预测用户是否会购买产品(app就是这里的产品)。 推荐系统中最常用 ...

近年来，移动端游戏随着智能手机技术的发展，越来越成为人们娱乐休闲的新模式。据 NewZoo 数据调查研究发现，全球手机端游戏已达到 21 亿玩家规模，呈 14% 同比年增长趋势，其中大部分玩家有在游戏中付费的经历。 对于 SLG 策略类型手机游戏，由于前期用户需要时间了解及熟练游戏操作，即使有付费倾向，一般也会比较滞后。这种滞后为游戏的内部运营，市场投放效果的衡量及优化带来了很大挑战。本文基于一款日活 600 万的明星 SLG 游戏，根据游戏内用户的 500+ 个特征行为，对未付费用户在下载安装后 28 天内是否会转化为付费用户加以预测。 文章尽量避免涉及过多的技术细节，主要从系统架构的角度加以阐述，如何自动化一套机器学习预测系统并与 Google UAC (通用应用广告平台) 相结合，最终提高 7 倍转化率，2.6 倍投资回报率，降低 63% 付费用户获取成本。 数据准备 数据包括两部分， 预测目标 Y 及用户参数 X，其中用户参数 X 又分为状态参数 Xs 和行为参数 Xb。 原始数据符合如下模板： 其中，每行数据为每一位用户每天的行为参数汇总和状态快照。如若用户当天未登录，则 ...

常用的模型脚本 Preprocess 123456789101112131415# 通用的预处理框架import pandas as pdimport numpy as npimport scipy as sp# 文件读取def read_csv_file(f, logging=False): print("==========读取数据=========") data = pd.read_csv(f) if logging: print(data.head(5)) print(f, "包含以下列") print(data.columns.values) print(data.describe()) print(data.info()) return data Logistic Regression 12345678910111213141516171819202122232425262728293031323334# 通用的LogisticRegre ...

看过之前两篇文章（为什么需要知识图谱？什么是知识图谱？——KG的前世今生, 语义网络，语义网，链接数据和知识图谱的读者应该对RDF有了一个大致的认识和理解。本文将结合实例，对RDF和RDFS/OWL，这两种知识图谱基础技术作进一步的介绍。其实，RDF、RDFS/OWL是类语义网概念背后通用的基本技术，而知识图谱是其中最广为人知的概念。 一、知识图谱的基石：RDF RDF表现形式 RDF(Resource Description Framework)，即资源描述框架，其本质是一个数据模型（Data Model）。它提供了一个统一的标准，用于描述实体/资源。简单来说，就是表示事物的一种方法和手段。RDF形式上表示为SPO三元组，有时候也称为一条语句（statement），知识图谱中我们也称其为一条知识，如下图。 RDF由节点和边组成，节点表示实体/资源、属性，边则表示了实体和实体之间的关系以及实体和属性的关系。在第一篇文章中(为什么需要知识图谱？什么是知识图谱？——KG的前世今生，我们结合罗纳尔多的例子，介绍了RDF节点和边的类型约束，这里不再赘述。对RDF不熟悉的读者，可以参考第一篇 ...

前一篇文章“为什么需要知识图谱？什么是知识图谱？——KG的前世今生”提及了和知识图谱相关的一些早期概念。为了让读者能够更好地区分这些概念，以及更好地在整体上把握知识谱图发展过程，本文将对这些概念作一个更为详细的介绍。 一、语义网络（Semantic Network） 对于初学者来讲，这个概念很容易和语义网（Semantic Web）相混淆。为了行文一致，除非特别说明，语义网络指Semantic Network，语义网指Semantic Web。 语义网络是由Quillian于上世纪60年代提出的知识表达模式，其用相互连接的节点和边来表示知识。节点表示对象、概念，边表示节点之间的关系。 语义网络的优点： 容易理解和展示。 相关概念容易聚类。 语义网络的缺点： 1.节点和边的值没有标准，完全是由用户自己定义。 2.多源数据融合比较困难，因为没有标准。 3.无法区分概念节点和对象节点。 4.无法对节点和边的标签(label，我理解是schema层，后面会介绍)进行定义。 简而言之，语义网络可以比较容易地让我们理解语义和语义关系。其表达形式简单直白，符合自然。然而， ...