PAI的示例项目MNIST详解
本文将详细的介绍PAI的示例项目：MNIST手写数字识别项目的代码，详细代码链接请见文章最后。
MNIST 项目介绍
MNIST是机器学习中的Hello world，前期准备要了解Softmax (multinomial logistic ) regression。
MNIST的是一个简单的计算机视觉数据集，它包含一系列手写数字图片，我们将训练一个模型识别图片中的数字。
我们本次目的不是训练一个精准模型，以达到稳定的高性能，而是学会如何使用Tensorflow解决简单的问题，以及如何使用PAI平台运行深度学习项目。
本文将完成以下任务：
了解MNIST数据以及Softmax Regression
构建一个模型，根据图片的像素识别数字
基于上千个样例，使用TensorFlow训练模型识别数字
使用测试数据检验正确性
在PAI平台上顺利运行该项目
MINIST 数据集
数据集可从 http://yann.lecun.com/exdb/mnist/ 中下载。
数据集中训练集中有60000个数据点，测试集有10000个数据点。
每个MNIST数据点有两个部分：手写的数字图片和其相应的标签，将图片作为x, 标签作为y。
每张图片为28x28像素，图片和对应矩阵的关系如下图所示：
可见图像和28*28的矩阵相对应。
每个图片有一个相应的标签，为0-9，对应的是0-9的10个数字，每个标签抽象为“one-hot vectors” （指只有一个维度为1其他维度都为0的向量），如类别为1的图片对应的类别向量为 [0 1 0 0 0 0 0 0 0 0] 。
Softmax Regression
Softmax Regression是Logistic回归的推广，Logistic回归是处理二分类问题的，而Softmax Regression是处理多分类问题的。
Logistic回归是处理二分类问题的比较好的算法，具有很多的应用场合，如广告计算等。Logistic回归利用的是后验概率最大化的方式去计算权重。
多分类模型的输出结果为该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别（通常选概率最大的类别），作为该样本的预测类别。
在Python数值计算中，经常会使用到一些别的库,像numpy，在python外进行昂贵的操作，如矩阵计算。但是Python内外的数据交互会使得高的开销，为避免这些，Tensorflow使用先描述计算图，后再一起计算的方式。
所以Tensorflow中代码运行顺序取决于会话中的代码顺序，而非整个文件中的代码顺序。
import sys
import argparse
import tensorflow as tf
FLAGS = None
导入了需要用的库，其中FLAGS是PAI平台中需要使用的量。
def read_image(file_queue):
reader = tf.TFRecordReader()
key, value = reader.read(file_queue)
_, serialized_example = reader.read(file_queue)
features = tf.parse_single_example(
serialized_example,
features={
'image_raw': tf.FixedLenFeature([], tf.string),
'label': tf.FixedLenFeature([], tf.int64),
image = tf.decode_raw(features['image_raw'], tf.uint8)
image.set_shape([784])
image = tf.cast(image, tf.float32) * (1. / 255) - 0.5
label = tf.cast(features['label'], tf.int32)
return image, label
这个函数用于读入图像数据，返回784维的图像张量和对应的标签矩阵。
因为图像格式为 .tfrecords ，所以要用TFRecordReader函数来读取。
read函数返回文件名和文件。
parse_single_example函数是用来解析tfrecords文件中特征和标签。可见特征为image_raw，标签为label。
decode_raw对image_raw进一步解码，解析为uint8格式
set_shape函数将图像展为为784维的张量。
image = tf.cast(image, tf.float32) * (1. / 255) - 0.5 对图像进行归一化。
def read_image_batch(file_queue, batch_size):
img, label = read_image(file_queue)
capacity = 3 * batch_size
image_batch, label_batch = tf.train.batch([img, label], batch_size=batch_size, capacity=capacity, num_threads=10)
one_hot_labels = tf.to_float(tf.one_hot(label_batch, 10, 1, 0))
return image_batch, one_hot_labels
这个函数调用之前的read函数读入图像和标签，然后根据给定的batch_size将图像分批，返回分批后的图像和独热标签。
tf.train.batch分批函数通过队列实现，capacity是在队列中的最大元素个数。num_threads:入队tensors的线程的个数。如果num_threads大于1，那么批次的数据是不确定的。
def main(_):
train_file_path = os.path.join(FLAGS.buckets, "train.tfrecords")
test_file_path = os.path.join(FLAGS.buckets, "test.tfrecords")
ckpt_path = os.path.join(FLAGS.checkpointDir, "model.ckpt")
载入路径，是PAI平台特有的。最后一个是模型存储名称，此时并没有模型，是之后训练完才会生成的。
train_image_filename_queue = tf.train.string_input_producer(
tf.train.match_filenames_once(train_file_path))
train_images, train_labels = read_image_batch(train_image_filename_queue, 100)
test_image_filename_queue = tf.train.string_input_producer(
tf.train.match_filenames_once(test_file_path))
test_images, test_labels = read_image_batch(test_image_filename_queue, 100)
对训练数据和测试数据分批
tf.train.string_input_producer 函数来生成文件名队列
batch_size为100
# the Variables we need to train
W = tf.Variable(tf.zeros([784, 10]))
#因为有十类
b = tf.Variable(tf.zeros([10]))
x = tf.reshape(train_images, [-1, 784])
y = tf.matmul(x, W) + b
y_ = tf.to_float(train_labels)
W是784 * 10的矩阵，是因为我们输入的样本有784维特征，待分的类有10类。同理，b的维度是10。
tf.reshape(tensor, shape, name=None)
函数的作用是将tensor变换为参数shape的形式。
其中shape为一个列表形式，特殊的一点是列表中可以存在-1。-1代表的含义是不用我们自己指定这一维的大小，函数会自动计算，但列表中只能存在一个-1。
y = tf.matmul(x, W) + b计算y=w*x+b
tf.to_float(train_labels)将train_labels转为浮点数
#用tf.nn.softmax_cross_entropy_with_logits计算WX+b的结果相较于原来的label的train_loss，并求均值
cross_entropy = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))
#使用梯度找到最小train_loss
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
代码解释已经写在注释中
#每张图片包含28x28=784个像素点，只要保持各个图片采用相同的方式展开成784维的向量
x_test = tf.reshape(test_images, [-1, 784])
y_pred = tf.matmul(x_test, W) + b
y_test = tf.to_float(test_labels)
这里是用模型测试测试集数据
#我们看到tf.argmax(y,1)函数会返回tensor中参数指定的维度中的最大值的索引，即返回预测概率最大的标签
correct_prediction = tf.equal(tf.argmax(y_pred, 1), tf.argmax(y_test, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
saver = tf.train.Saver()
#InteractiveSession 输入的代码少，原因就是它允许变量不需要使用session就可以产生结构
sess = tf.InteractiveSession()
#初始化所有变量
tf.global_variables_initializer().run()
correct_prediction返回是否预测正确
accuracy计算平均正确率
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)
for i in range(100):
sess.run(train_step)
if ((i + 1) % 10 == 0):
print("step:", i + 1, "accuracy:", sess.run(accuracy))
print("accuracy: " , sess.run(accuracy))
save_path = saver.save(sess, ckpt_path)
print("Model saved in file: %s" % save_path)
coord.request_stop()
coord.join(threads)
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('--buckets', type=str, default='',
help='input data path')
parser.add_argument('--checkpointDir', type=str, default='',
help='output model path')
FLAGS, _ = parser.parse_known_args()
tf.app.run(main=main)
以上是代码的收尾部分，不做解释。
在PAI上运行MNIST项目
详细的讲解见官方说明：
本项目在PAI上顺利运行，如下图：
数据源目录应为包含数据集的文件夹目录，而非数据集的文件目录！
如我的数据源目录为：oss://mnist0901.oss-cn-shanghai-internal.aliyuncs.com/,下图是我该目录下的文件：
错误示范（运行时会报错）：
数据源目录为 oss://mnist0901.oss-cn-shanghai-internal.aliyuncs.com/test.tfrecords
代码github地址
篇外篇【今天参加了一个区块链项目的私募，说说内心的感觉】
今天参与了区块链项目的私募，这个项目我参与的已经比较晚了，目前在第二批了。这批次成本已经是第一批次的近3倍了。
本文编写时比特币价格（￥105,043.78）
项目投资方非常知名，技术团队也是...
今天发起了一个思慕——Oben-pai
是的，你没有看错，这个项目正是前几天我自己首次参加思慕的时候参与的项目。也是机缘巧合，Oben-pai项目昨天临时开放了几个小时的补仓机会，由我牵头，由本人和群里的一些朋友，及时锁定额度，成功联合追投...
深度学习入门项目之MNIST(DeepLearning4j)
MNIST是一个手写数字图像的数据集，每幅图像都由一个整数标记。它主要用于机器学习算法的性能对标。深度学习算法处理MNIST的效果相当好，准确率可达到99.7%以上。
我们将用MNIST来训练一...
项目实战之中小网站图片压缩技术
由于我们的项目服务器空间有限，如果每次上传图片都大于1M那上传几张图片，空间就满了，而且访问速度也慢。我们采取图片压缩技术，在首页展示的时候进行深压缩处理，对文章里面的图片进行浅压缩处理。...
Tensorflow学习笔记：基础篇（3）——Mnist手写集初始版本
Tensorflow学习笔记：基础篇（3）——Mnist手写集初始版本
— MNIST 手写数据集，作为一个经典的数据集，已经被大家所“嚼烂”, 无论是初学者还是高手，几乎都会用到它，网...
没有更多推荐了，tf.multinomial(logits, num_samples, seed=None, name=None)
logits 大小为[batch，n_class]
num_samples 表示采样的个数
seed 随机种子数
name表示该op的名字
这个函数就是根据logits中每个类别的概率采样，这个概率可以不用归一化后的概率，也就是每个类的概率可以大于1，不需要所有类别概率和为1，我觉得它底层是会自动给我们归一化的，输出结果为[batch,num_samples]大小
表示在每个batch_size 上采样num_samples个数，他是根据logits中的概率来采样的
这个函数用在rnn的输出中比较多，
tf.multinomial()函数的理解
首先，直接上tensorflow官网的解释：https://www.tensorflow.org/api_docs/python/tf/multinomial
基于其多做一些解释，生成的sample...
Tensorflow 中 RNN softmax输出层采样 tf.multinomial(logits, num_samples)
Tensorflow 中，想要使用sequence to sequence 模型，在RNN的输出端采样(sampling)，可以在softmax层之后，做简单的log p 再用tf.multinomi...
tensorflow编程填坑笔记
1. tf.mul(a,b) 和 tf.matmul(a,b)tf.mul(a,b) 这里的矩阵a和矩阵b的shape必须相等 tf.mul()是矩阵的element-wise相乘（即Hadamard...
TensorFlow基本的常量、变量和运算操作
简介深度学习需要熟悉使用一个框架，本人选择了TensorFlow，一边学习一边做项目，下面简要介绍TensorFlow中的基本常量、变量和运算操作，参考斯坦福大学的cs20si和TensorFlow官...
#exec 2&tf.log
#dd.sh 测试次数 每次写多少块
total_sum=0
total_times=0
min=888888
【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？
首先明确一点，loss是代价值，也就是我们要最小化的值...
tensorflow cross_entropy 四种交叉熵计算函数
Tensorflow交叉熵函数：cross_entropy
以下交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出，因为它在函数内部进行了sigmoid或softmax操作...
【Tensorflow入门】手写字体识别——卷积神经网络
惯例放结果，瞬间识别率就上99.29%了……
import input_data
mnist = input_data.read_data_sets('MNIST_data', one_...
没有更多推荐了，scikit-learn基础介绍 | 昱树临风 | 鲁永昱的个人网站
scikit-learn基础介绍
scikit-learn基础介绍
发布时间： 19:58:25&作者：spyboyyu&阅读量：39
在机器 学习和数据挖掘的应用中，scikit-learn是一个功能强大的python包。在数据量不是过大的情况下，可以解决大部分问题。1 scikit-learn基础介绍1.1 估计器（Estimator）估计器，很多时候可以直接理解成分类器，主要包含两个函数：fit()：训练算法，设置内部参数。接收训练集和类别两个参数。predict()：预测测试集类别，参数为测试集。大多数scikit-learn估计器接收和输出的数据格式均为numpy数组或类似格式。1.2 转换器（Transformer）转换器用于数据预处理和数据转换，主要是三个方法：fit()：训练算法，设置内部参数。transform()：数据转换。fit_transform()：合并fit和transform两个方法。1.3 流水线（Pipeline）sklearn.pipeline包流水线的功能：跟踪记录各步骤的操作（以方便地重现实验结果）对各步骤进行一个封装确保代码的复杂程度不至于超出掌控范围基本使用方法流水线的输入为一连串的数据挖掘步骤，其中最后一步必须是估计器，前几步是转换器。输入的数据集经过转换器的处理后，输出的结果作为下一步的输入。最后，用位于流水线最后一步的估计器对数据进行分类。每一步都用元组（ ‘名称’，步骤）来表示。现在来创建流水线。scaling_pipeline&=&Pipeline([
&&('scale',&MinMaxScaler()),
&&('predict',&KNeighborsClassifier())
])1.4 预处理主要在sklearn.preprcessing包下。规范化：MinMaxScaler :最大最小值规范化Normalizer :使每条数据各特征值的和为1StandardScaler :为使各特征的均值为0，方差为1编码：LabelEncoder ：把字符串类型的数据转化为整型OneHotEncoder ：特征用一个二进制数字来表示Binarizer :为将数值型特征的二值化MultiLabelBinarizer：多标签二值化1.5 特征1.5.1 特征抽取包：sklearn.feature_extraction特征抽取是数据挖掘任务最为重要的一个环节，一般而言，它对最终结果的影响要高过数据挖掘算法本身。只有先把现实用特征表示出来，才能借助数据挖掘的力量找到问题的答案。特征选择的另一个优点在于：降低真实世界的复杂度，模型比现实更容易操纵。一般最常使用的特征抽取技术都是高度针对具体领域的，对于特定的领域，如图像处理，在过去一段时间已经开发了各种特征抽取的技术，但这些技术在其他领域的应用却非常有限。DictVectorizer： 将dict类型的list数据，转换成numpy arrayFeatureHasher ： 特征哈希，相当于一种降维技巧image：图像相关的特征抽取text： 文本相关的特征抽取text.CountVectorizer：将文本转换为每个词出现的个数的向量text.TfidfVectorizer：将文本转换为tfidf值的向量text.HashingVectorizer：文本的特征哈希示例data.pngCountVectorize只数出现个数count.pnghash.pngTfidfVectorizer：个数+归一化（不包括idf）tfidf(without idf).png1.5.2 特征选择包：sklearn.feature_selection特征选择的原因如下：(1)降低复杂度(2)降低噪音(3)增加模型可读性VarianceThreshold： 删除特征值的方差达不到最低标准的特征SelectKBest： 返回k个最佳特征SelectPercentile： 返回表现最佳的前r%个特征单个特征和某一类别之间相关性的计算方法有很多。最常用的有卡方检验（χ2）。其他方法还有互信息和信息熵。chi2： 卡方检验（χ2）1.6 降维包：sklearn.decomposition主成分分析算法（Principal Component Analysis， PCA）的目的是找到能用较少信息描述数据集的特征组合。它意在发现彼此之间没有相关性、能够描述数据集的特征，确切说这些特征的方差跟整体方差没有多大差距，这样的特征也被称为主成分。这也就意味着，借助这种方法，就能通过更少的特征捕获到数据集的大部分信息。1.7 组合包：**sklearn.ensemble **组合技术即通过聚集多个分类器的预测来提高分类准确率。常用的组合分类器方法：(1)通过处理训练数据集。即通过某种抽样分布，对原始数据进行再抽样，得到多个训练集。常用的方法有装袋（bagging）和提升（boosting）。(2)通过处理输入特征。即通过选择输入特征的子集形成每个训练集。适用于有大量冗余特征的数据集。随机森林（Random forest）就是一种处理输入特征的组合方法。(3)通过处理类标号。适用于多分类的情况，将类标号随机划分成两个不相交的子集，再把问题变为二分类问题，重复构建多次模型，进行分类投票。BaggingClassifier： Bagging分类器组合BaggingRegressor： Bagging回归器组合AdaBoostClassifier： AdaBoost分类器组合AdaBoostRegressor： AdaBoost回归器组合GradientBoostingClassifier：GradientBoosting分类器组合GradientBoostingRegressor： GradientBoosting回归器组合ExtraTreeClassifier：ExtraTree分类器组合ExtraTreeRegressor： ExtraTree回归器组合RandomTreeClassifier：随机森林分类器组合RandomTreeRegressor： 随机森林回归器组合使用举例AdaBoostClassifier(DecisionTreeClassifier(max_depth=1),
algorithm=&SAMME&,
n_estimators=200)解释装袋（bagging）：根据均匀概率分布从数据集中重复抽样（有放回），每个自助样本集和原数据集一样大，每个自助样本集含有原数据集大约63%的数据。训练k个分类器，测试样本被指派到得票最高的类。提升（boosting）：通过给样本设置不同的权值，每轮迭代调整权值。不同的提升算法之间的差别，一般是（1）如何更新样本的权值，（2）如何组合每个分类器的预测。其中Adaboost中，样本权值是增加那些被错误分类的样本的权值，分类器C_i的重要性依赖于它的错误率。Boosting主要关注降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成；Bagging主要关注降低方差，因此它在不剪枝的决策树、神经网络等学习器上效用更为明显。偏差指的是算法的期望预测与真实预测之间的偏差程度，反应了模型本身的拟合能力；方差度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动所导致的影响。1.8 模型评估（度量）包：sklearn.metricssklearn.metrics包含评分方法、性能度量、成对度量和距离计算。分类结果度量参数大多是y_true和y_pred。accuracy_score：分类准确度condusion_matrix ：分类混淆矩阵classification_report：分类报告precision_recall_fscore_support：计算精确度、召回率、f、支持率jaccard_similarity_score：计算jcaard相似度hamming_loss：计算汉明损失zero_one_loss：0-1损失hinge_loss：计算hinge损失log_loss：计算log损失其中，F1是以每个类别为基础进行定义的，包括两个概念：准确率（precision）和召回率（recall）。准确率是指预测结果属于某一类的个体，实际属于该类的比例。召回率是被正确预测为某类的个体，与数据集中该类个体总数的比例。F1是准确率和召回率的调和平均数。回归结果度量explained_varicance_score：可解释方差的回归评分函数mean_absolute_error：平均绝对误差mean_squared_error：平均平方误差多标签的度量coverage_error：涵盖误差label_ranking_average_precision_score：计算基于排名的平均误差Label ranking average precision (LRAP)聚类的度量adjusted_mutual_info_score：调整的互信息评分silhouette_score：所有样本的轮廓系数的平均值silhouette_sample：所有样本的轮廓系数1.9 交叉验证包：sklearn.cross_validationKFold：K-Fold交叉验证迭代器。接收元素个数、fold数、是否清洗LeaveOneOut：LeaveOneOut交叉验证迭代器LeavePOut：LeavePOut交叉验证迭代器LeaveOneLableOut：LeaveOneLableOut交叉验证迭代器LeavePLabelOut：LeavePLabelOut交叉验证迭代器LeaveOneOut(n) 相当于 KFold(n, n_folds=n) 相当于LeavePOut(n, p=1)。LeaveP和LeaveOne差别在于leave的个数，也就是测试集的尺寸。LeavePLabel和LeaveOneLabel差别在于leave的Label的种类的个数。LeavePLabel这种设计是针对可能存在第三方的Label，比如我们的数据是一些季度的数据。那么很自然的一个想法就是把1,2,3个季度的数据当做训练集，第4个季度的数据当做测试集。这个时候只要输入每个样本对应的季度Label，就可以实现这样的功能。以下是实验代码，尽量自己多实验去理解。#coding=utf-8import&numpy&as&npimport&sklearnfrom&sklearnimport&cross_validation
X&=&np.array([[1,&2],&[3,&4],&[5,&6],&[7,&8],[9,&10]])
y&=&np.array([1,&2,&1,&2,&3])def&show_cross_val(method):&&&&
&&if&method&==&&lolo&:&&&&&&&&
&&&&labels&=&np.array([&summer&,&&winter&,&&summer&,&&winter&,&&spring&])&&&&&&&&
&&&&cv&=&cross_validation.LeaveOneLabelOut(labels)&&&&&&&&&&
&&elif&method&==&'lplo':&&&&&&&&
&&&&labels&=&np.array([&summer&,&&winter&,&&summer&,&&winter&,&&spring&])&&&&&&&&
&&&&cv&=&cross_validation.LeavePLabelOut(labels,p=2)&&&&
&&elif&method&==&'loo':&&&&&&&&
&&&&cv&=&cross_validation.LeaveOneOut(n=len(y))&&&&
&&elif&method&==&'lpo':&&&&&&&&
&&&&cv&=&cross_validation.LeavePOut(n=len(y),p=3)&&&&
&&for&train_index,&test_index&in&cv:&&&&&&&&
&&&&print(&TRAIN:&,&train_index,&&TEST:&,&test_index)&&&&&&&&
&&&&X_train,&X_test&=&X[train_index],&X[test_index]&&&&&&&&
&&&&y_train,&y_test&=&y[train_index],&y[test_index]&&&&&&&&
&&&&print&&X_train:&&,X_train&&&&&&&&
&&&&print&&y_train:&&,&y_train&&&&&&&&
&&&&print&&X_test:&&,X_test&&&&&&&&
&&&&print&&y_test:&&,y_testif&__name__&==&'__main__':&&&&
&&show_cross_val(&lpo&)常用方法train_test_split：分离训练集和测试集（不是K-Fold）cross_val_score：交叉验证评分，可以指认cv为上面的类的实例cross_val_predict：交叉验证的预测。1.10 网格搜索包：sklearn.grid_search网格搜索最佳参数GridSearchCV：搜索指定参数网格中的最佳参数ParameterGrid：参数网格ParameterSampler：用给定分布生成参数的生成器RandomizedSearchCV：超参的随机搜索通过best_estimator_.get_params()方法，获取最佳参数。1.11 多分类、多标签分类包：sklearn.multiclassOneVsRestClassifier：1-rest多分类（多标签）策略OneVsOneClassifier：1-1多分类策略OutputCodeClassifier：1个类用一个二进制码表示示例代码#coding=utf-8from&sklearn&import&metricsfrom&sklearn&import&cross_validationfrom&sklearn.svm&import&SVCfrom&sklearn.multiclass&import&OneVsRestClassifierfrom&sklearn.preprocessing&import&MultiLabelBinarizerimport&numpy&as&npfrom&numpy&import&random
X=np.arange(15).reshape(5,3)
y=np.arange(5)
Y_1&=&np.arange(5)
random.shuffle(Y_1)
Y_2&=&np.arange(5)
random.shuffle(Y_2)
Y&=&np.c_[Y_1,Y_2]def&multiclassSVM():
&&&&X_train,&X_test,&y_train,&y_test&=&cross_validation.train_test_split(X,&y,&test_size=0.2,random_state=0)
&&&&model&=&OneVsRestClassifier(SVC())
&&&&model.fit(X_train,&y_train)
&&&&predicted&=&model.predict(X_test)&&&&print&predicteddef&multilabelSVM():
&&&&Y_enc&=&MultiLabelBinarizer().fit_transform(Y)
&&&&X_train,&X_test,&Y_train,&Y_test&=&cross_validation.train_test_split(X,&Y_enc,&test_size=0.2,&random_state=0)
&&&&model&=&OneVsRestClassifier(SVC())
&&&&model.fit(X_train,&Y_train)
&&&&predicted&=&model.predict(X_test)&&&&print&predictedif&__name__&==&'__main__':
&&&&multiclassSVM()&&&&#&multilabelSVM()上面的代码测试了svm在OneVsRestClassifier的包装下，分别处理多分类和多标签的情况。特别注意，在多标签的情况下，输入必须是二值化的。所以需要MultiLabelBinarizer()先处理。2 具体模型2.1 朴素贝叶斯（Naive Bayes）包：sklearn.cross_validation朴素贝叶斯.png朴素贝叶斯的特点是分类速度快，分类效果不一定是最好的。GasussianNB：高斯分布的朴素贝叶斯MultinomialNB：多项式分布的朴素贝叶斯BernoulliNB：伯努利分布的朴素贝叶斯所谓使用什么分布的朴素贝叶斯，就是假设P(x_i|y)是符合哪一种分布，比如可以假设其服从高斯分布，然后用最大似然法估计高斯分布的参数。高斯分布.png多项式分布.png伯努利分布.png3 scikit-learn扩展3.0 概览具体的扩展，通常要继承sklearn.base包下的类。BaseEstimator： 估计器的基类ClassifierMixin ：分类器的混合类ClusterMixin：聚类器的混合类RegressorMixin ：回归器的混合类TransformerMixin ：转换器的混合类关于什么是Mixin（混合类），具体可以看这个。简单地理解，就是带有实现方法的接口，可以将其看做是组合模式的一种实现。举个例子，比如说常用的TfidfTransformer，继承了BaseEstimator， TransformerMixin，因此它的基本功能就是单一职责的估计器和转换器的组合。3.1 创建自己的转换器在特征抽取的时候，经常会发现自己的一些数据预处理的方法，sklearn里可能没有实现，但若直接在数据上改，又容易将代码弄得混乱，难以重现实验。这个时候最好自己创建一个转换器，在后面将这个转换器放到pipeline里，统一管理。例如《Python数据挖掘入门与实战》书中的例子，我们想接收一个numpy数组，根据其均值将其离散化，任何高于均值的特征值替换为1，小于或等于均值的替换为0。代码实现：from&sklearn.base&import&TransformerMixinfrom&sklearn.utils&import&as_float_arrayclass&MeanDiscrete(TransformerMixin):
&&#计算出数据集的均值，用内部变量保存该值。&&
&&def&fit(self,&X,&y=None):
&&&&&&&&X&=&as_float_array(X)
&&&&&&&&self.mean&=&np.mean(X,&axis=0)&&&&&&&&#返回self，确保在转换器中能够进行链式调用（例如调用transformer.fit(X).transform(X)）
&&&&&&&&return&self&&&&def&transform(self,&X):
&&&&&&&&X&=&as_float_array(X)&&&&&&&&assert&X.shape[1]&==&self.mean.shape[0]&&&&&&&&return&X&&&self.mean& & & & & &&转载自 简书-&
&&&&分享到：
我要评论 登录后才能发布评论
Copyright (C) 2017 - 2020 昱树临风京ICP备
http://www.luyongyu.com/index.php/
留言标题：
留言内容：
留言人姓名：
留言人邮箱：}