简单说说深层神经网络中的几种常用方法简单说说深层神经网络中的几种常用方法基数智能百家号本文介绍简单说说深层神经网络中的几种常用方法，深度学习所示深层神经网络的代名词，重要特性：多层、非线性。若只通过线性变换，任意层的神经网络模型与单层神经网络模型的表达能力没有任何区别，这是线性模型的局限性。对于线性可分的问题中，线性模型可解决，但在现实生活中，绝大部分的问题都是无法线性分割的。1、激活函数将每一个神经元（神经网络的节点）的输出通过一个非线性函数便可使得整个神经网络的模型非线性化，这个非线性函数就是激活函数。常用非线性激活函数：tf.nn.relu、tf.sigmoid、tf.tanh；使用方法，例：tf.nn.relu(tf.matmul(x,w1)+biases1)偏置项：可理解为数学中y=ax+b中的b，如果在分类的情况下，两点刚好在经过原点的直线上，如果没有偏置项b的话，无法划分直线将两个点分开。2、损失函数概念：用来评价模型的预测值Y^=f(X)与真实值Y的不一致程度，它是一个非负实值函数。通常使用L(Y,f(x))来表示，损失函数越小，模型的性能就越好。1）经典损失函数a）分类问题：将不同的样本分到事先定义好的类别中。常用交叉熵计算；计算方法：cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))#y_正确结果，y测试结果；y_*tf.log(tf.clip_by_value(y,1e-10,1.0))得到n*m的二维矩阵，#n为样例的数量，m为分类的类别数量。由于交叉熵一般与softmax回归一起使用，所以tf对其进行统一封装，cross_entropy=tf.nn.softmax_cross_entropy_with_logits(y,y_)b）回归问题：对具体数值的预测。常用均方差；计算方法：mse=tf.reduce_mean(tf.square(y_-y)#y_标准答案，y输出答案2）自定义损失函数除了分类和回归还有其他问题，所以可以根据具体情况，具体写对应的损失函数。3、神经网络优化算法目的：使损失函数尽可能的小；1）反向传播算法（backpropagtion）：给出一个高效的方式在所有参数上使用梯度下降算法；是训练神经网络的核心算法，可以根据定义好的损失函数优化神经网络中参数的取值；2）梯度下降算法（gradient decent)：优化单个参数的取值当要求损失函数的值为最小值时，可以根据其偏导来判断其下降方向，梯度便是偏导值；当损失函数未到最小值时，（损失函数-梯度）可变的更小，使用反向传播算法，可一直将损失函数减去其梯度，知道获得最小的损失函数；其中由于梯度可能过大，导致错过最小值，所以可在梯度的值乘以学习率。即：下一个损失函数=损失函数-梯度*学习率（其中梯度便是损失函数的偏导），下面给出一个损失函数为y=x^2的例子：TRAINING_STEPS=5x=tf.Variable(tf.constant(5,dtype=tf.float32),name='x')y=tf.square(x)train_op=tf.train.GradientDescentOptimizer(0.3).minimize(y)#实现梯度下降算法的优化器with tf.Session() as sess:sess.run(tf.global_variables_initializer())for i in range(TRAINING_STEPS):sess.run(train_op)x_value=sess.run(x)print(i+1, x_value)注意：梯度下降算法并不可保证优化的函数能得到全局最优解，只有损失函数为凸函数时才可保证；样例如下图3）随机梯度下降算法（stochastic gradient decent）：梯度下降算法中，由于计算的是全部训练数据上最小化最优，所以损失函数是在所有训练数据上的损失和，这样每轮迭代导致时间过长；由此问题引出随机梯度下降算法，随机优化某一条训练数据上的损失函数。该方法虽然达到时间缩短，但是会导致函数无法得到全局最优。4）实际采用方法：梯度与随机梯度的折中--每次计算一小部分训练数据的损失函数（batch），该方法可大大减少收敛所需的迭代次数，缩短时间，同时可使收敛到的结果最优。神经网络的训练大都遵循以下过程：batch_size=n#读取一小部分数据作为当前训练集x=tf.placeholder(tf.float32,shape=[None,2],name='x-input')x=tf.placeholder(tf.float32,shape=[None,1],name='y-input')#定义神经网络结构和优化算法loss=...train_step=tf.train.AdamOptimizer(0.001).minimize(loss)with tf.Session() as sess:#参数初始化...#迭代更新参数for i in range(STEPS):#将所有随机数据重新打乱之后再选取将会获得更好的优化效果X=..Y=...sess.run(train_step,feed_dict={x:X,y:Y})4、神经网络的进一步优化1）学习率的设置在梯度下降算法中，如果学习率取值过大，可能会出现数值两边震荡的情况，永远都到达不了极值，而若学习率取值过小，则会大大降低优化的速度，TensorFlow提供了学习率设置的方法--指数衰减法，更改上面的梯度例子如下：TRAINING_STEPS=100global_step=tf.Variable(1)#初始化为0#def exponential_decay(learning_rate, global_step, decay_steps, decay_rate,#staircase=False, name=None):分别为：初始学习率，经过decay_steps轮计算，学习率乘以decay_rate，staircase为T，学习率阶梯状衰减，否则，连续衰减LEA_RATE=tf.train.exponential_decay(0.1,global_step,1,0.96,staircase=False)#获得学习率，指数衰减法，开始较大的衰减率，后来指数变小x=tf.Variable(tf.constant(5,dtype=tf.float32),name='x')y=tf.square(x)train_op=tf.train.GradientDescentOptimizer(LEA_RATE).minimize(y,global_step=global_step)#实现梯度下降算法的优化器，global_step会自动加1，可当计数器用with tf.Session() as sess:sess.run(tf.global_variables_initializer())for i in range(TRAINING_STEPS):sess.run(train_op)LEA_RATE_value=sess.run(LEA_RATE)x_value=sess.run(x)print(i+1, i+1, x_value, LEA_RATE_value,sess.run(global_step))2）过拟合问题概念：当一个模型过为复杂之后，它会很好的‘记忆’每一个训练数据中随机随机噪音的部分而忘记了要去‘学习’训练数据中通用的趋势。意思就是过拟合数据中的随机噪音虽然可得到极小的损失函数，但是对位置数据可能无法做出可靠的判读。 解决方法：正则化--在损失函数中添加刻画模型复杂程度的指标。使用方法：#lambda正则化项的权重，w需要计算正则化损失的参数，也就是边上的权重loss=之前的损失函数+tf.contrib.layers.l2_regularizer(lambda)(w)print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(w)))#w中每个元素的绝对值之和乘0.5，所以值为5print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(w)))#w中每个元素的平方和除以2再乘0.5，结果为7.5print(sess.run(tf.contrib.layers.l1_l2_regularizer(0.5)(w)))#w中的每个元素之和乘0.5+w中每个元素的平方和乘（1-0.5）当神经网络的参数增多时，损失函数也将会增多，若将其写在一个定义中，可读性会很差，容易出错，所以在TensorFlow中可以用一下方法：#losses是集合的名字1，mse_loss是加入集合的内容tf.add_to_collection('losses', mse_loss)#get_collection返回的是losses集合，add_n是将集合的中值求和loss = tf.add_n(tf.get_collection('losses'))5、滑动平均模型作用：在使用随机梯度下降算法训练神经网络时，可只用该方法在一定程度上进行优化。使用方法如下：v1=tf.Variable(0,dtype=tf.float32)step=tf.Variable(0,trainable=False)#定义一个滑动平均模型的类，初始化衰减率为0.99，控制衰减率的变量stepema=tf.train.ExponentialMovingAverage(0.99,step)#定义一个更新变量滑动平均的操作，并给定一个列表，每次执行这个操作时，列表更新maintain_ave_op=ema.apply([v1])with tf.Session() as sess:init_op=tf.global_variables_initializer()sess.run(init_op)#上面的V1*衰减率+（1-衰减率）*更新变量v1，其中衰减率=min{初始化衰减率,（1+step）/（10+step）}print(sess.run([v1,ema.average(v1)]))#结果：[0,0]sess.run(tf.assign(v1,5))sess.run(maintain_ave_op)print(sess.run([v1,ema.average(v1)]))#0*min{0.99,(（1+step）/(step+10))}+(1-min{0.99,(（1+step）/(step+10))})*5sess.run(tf.assign(step,10000))sess.run(tf.assign(v1,10))sess.run(maintain_ave_op)print(sess.run([v1,ema.average(v1)]))sess.run(maintain_ave_op)print(sess.run([v1,ema.average(v1)]))6、常用方法tf.reduce_sum() #和tf.greater(v1,v2)#v1和v2的每个对应元素比较，若v1大于v2，则为True否则为False。tf.where(tf.greater(v1,v2),v1,v2)#根据第一个参数的T和F来选择v1和v2，若为False则元素选V2中的值，整个函数相当于选取v1和v2中较大的数组成一个举证。本文作者NSGUF，一起加入人工智能AI技术大本。本文由百家号作者上传并发布，百家号仅提供信息发布平台。文章仅代表作者个人观点，不代表百度立场。未经作者许可，不得转载。基数智能百家号最近更新：简介:人工智能技术大本营，提供专业的AI技术知识作者最新文章相关文章豆丁微信公众号
君，已阅读到文档的结尾了呢~~
系统集成项目经理继续教育在线考试题和答案,淘宝考试系统答案,系统集成项目经理,淘宝网考试系统答案,系统集成工程师考试,系统集成考试,2014系统集成考试,系统集成,2014经济师考试答案,科目三智能考试系统
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
系统集成项目经理继续教育在线考试题和答案
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口以下试题来自：
问答题网络互联主要有哪几种形式常用的网络互联设备有哪些 网络互联的类型主要有局域网与局域网的互联、局域网与广域网的互联、局域网与广域网的互联和广域网与广域网的互联。 常用的网络......
为您推荐的考试题库
你可能感兴趣的试题
1.问答题 (1)创建基本表DEPA： CREATE TABLE DEPA (D# CHAR(4)， DNAME CHAR(10)， MGR# CHAR(4)， PRIMARY KEY(D#)， FOREIGN KEY(MGR#) ...... 2.判断题 错3.判断题 错4.问答题 void LinkList_Select_Sort(LinkList &L)//单链表上的简单选择排序算法 {for(p=L；p―＞next＞next；P=P―＞next) {q=P―＞next...... 5.填空题 网络拓扑结构
热门相关试卷
最新相关试卷常见的网络传输介质有哪几种_百度知道
常见的网络传输介质有哪几种
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
获赞数：35
网络传输介质是网络中传输数据、连接各网络站点的实体。网络信息还可以利用无线电系统、微波无线系统和红外技术等传输。目前常见的网络传输介质有：双绞线、同轴电缆、光纤等。 一、双绞线电缆(TP)：将一对以上的双绞线封装在一个绝缘外套中，为了降低信号的干扰程度，电缆中的每一对双绞线一般是由两根绝缘铜导线相互扭绕而成，也因此把它称为双绞线。双绞线分为分为非屏蔽双绞线(UTP)和屏蔽双绞线(STP)。目前市面上出售的UTP分为3类，4类，5类和超5类四种：3类：传输速率支持10Mbps，外层保护胶皮较薄，皮上注有“cat3”4类：网络中不常用5类（超5类）：传输速率支持100Mbps或10Mbps，外层保护胶皮较厚，皮上注有“cat5”超5类双绞线在传送信号时比普通5类双绞线的衰减更小，抗干扰能力更强，在100M网络中，受干扰程度只有普通5类线的1/4，目前较少应用。STP分为3类和5类两种，STP的内部与UTP相同，外包铝箔，抗干扰能力强、传输速率高但价格昂贵。双绞线一般用于星型网的布线连接，两端安装有RJ-45头(水晶头)，连接网卡与集线器，最大网线长度为100米，如果要加大网络的范围，在两段双绞线之间可安装中继器，最多可安装4个中继器，如安装4个中继器连5个网段，最大传输范围可达500米。二、同轴电缆：由一根空心的外圆柱导体和一根位于中心轴线的内导线组成，内导线和圆柱导体及外界之间用绝缘材料隔开。按直径的不同，可分为粗缆和细缆两种：粗缆：传输距离长，性能好但成本高、网络安装、维护困难，一般用于大型局域网的干线，连接时两端需终接器。
(1)粗缆与外部收发器相连。
(2)收发器与网卡之间用AUI电缆相连。
(3)网卡必须有AUI接口（15针D型接口）：每段500米，100个用户，4个中继器可达2500米，收发器之间最小2.5米，收发器电缆最大50米。细缆：与BNC网卡相连，两端装50欧的终端电阻。用T型头，T型头之间最小0.5米。细缆网络每段干线长度最大为185米，每段干线最多接入30个用户。如采用4个中继器连接5个网段，网络最大距离可达925米。细缆安装较容易，造价较低，但日常维护不方便，一旦一个用户出故障，便会影响其他用户的正常工作。根据传输频带的不同，可分为基带同轴电缆和宽带同轴电缆两种类型：基带：数字信号，信号占整个信道，同一时间内能传送一种信号。宽带：可传送不同频率的信号。三、光纤：是由一组光导纤维组成的用来传播光束的、细小而柔韧的传输介质。应用光学原理，由光发送机产生光束，将电信号变为光信号，再把光信号导入光纤，在另一端由光接收机接收光纤上传来的光信号，并把它变为电信号，经解码后再处理。与其它传输介质比较，光纤的电磁绝缘性能好、信号衰小、频带宽、传输速度快、传输距离大。主要用于要求传输距离较长、布线条件特殊的主干网连接。分为单模光纤和多模光纤：单模光纤：由激光作光源，仅有一条光通路，传输距离长，2千米以上。多模光纤：由二极管发光，低速短距离，2千米以内。
翔云翔云123
翔云翔云123
擅长：暂未定制
同轴电缆、双绞线、光纤
为你推荐：
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。}