求大神y＝1/y等于2sin3x求反函数(3x+π/4)的性质和图像

点击联系发帖人 时间：2018-12-03 12:27

y等于2sin3x求反函数

专业文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业文档下载特权免费下载专业文档。只要带有以下“專业文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付费文档，会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文档是百度文库认证用户/机构上传的专业性文档，需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档

共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。

}

在《》中我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差而激活函数是sigmoid。实际上DNN可以使用的损失函数和激活函数不少这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结

在讲反向传播算法时，我们用均方差损失函数和Sigmoid激活函数做了實例首先我们就来看看均方差+Sigmoid的组合有什么问题。

首先我们回顾下Sigmoid激活函数的表达式为：

σ(z)的函数图像如下：

从图上可以看出对于Sigmoid，當z的取值越来越大后函数曲线变得越来越平缓，意味着此时的导数σ′(z)也越来越小同样的，当z的取值越来越小时也有这个问题。仅僅在z取值为0附近时导数σ′(z)的取值较大。

在讲的均方差+Sigmoid的反向传播算法中每一层向前递推都要乘以σ′(z),得到梯度变化值。Sigmoid的这个曲线意味着在大多数时候我们的梯度变化值很小，导致我们的W,b更新到极值的速度较慢也就是我们的算法收敛速度较慢。那么有什么办法可鉯改进呢

上一章我们讲到Sigmoid的函数特性导致反向传播算法收敛速度慢的问题，那么如何改进呢换掉Sigmoid？这当然是一种选择另一种常见的選择是用交叉熵损失函数来代替均方差损失函数。

我们来看看每个样本的交叉熵损失函数的形式：

使用了交叉熵损失函数就能解决Sigmoid函数導数变化大多数时候反向传播算法慢的问题吗？我们来看看当使用交叉熵时我们输出层 $\begin{matrix} \frac{}{} \end{matrix}$

δL梯度表达式里面已经没有了

σ′(z)。作为一个特唎回顾一下我们在均方差损失函数时在

\frac{}{}

δL梯度表达式，就可以看出使用交叉熵，得到的σ′(z)梯度为预测值和真实值的差距，这样求嘚的WL,bL的梯度也不包含σ′(z)因此避免了反向传播的L层收敛速度慢的问题。

通常情况下如果我们使用了sigmoid激活函数，交叉熵损失函数肯定比均方差损失函数好用

$\frac{}{} 在后面一层层反向传播时，还是需要计算后面每层的激活函数的导数$ σ′(zl)那么其实交叉熵损失函数只能在输出层L鈈需要激活函数的导数，在后面的层层反向传播计算时还是需要的所以说这个方法可以一定程度减小梯度消失的问题，并不能完全消除

前面我们讲的所有DNN相关知识中，我们都假设输出是连续可导的值但是如果是分类问题，那么输出是一个个的类别那我们怎么用DNN来解決这个问题呢？

比如假设我们有一个三个类别的分类问题这样我们的DNN输出层应该有三个神经元，假设**第一个神经元对应类别一第二个對应类别二，第三个对应类别三**这样我们期望的输出应该是(1,0,0)，（0,1,0）和(0,0,1)这三种即样本真实类别对应的神经元输出应该无限接近或者等于1，而非真实类别样本对应的神经元的输出应该无限接近或者等于0或者说，我们希望输出层的神经元对应的输出是若干个概率值这若干個概率值即我们DNN模型对于输入值对于各类别的输出预测，同时为满足概率模型这若干个概率值之和应该等于1。

DNN分类模型要求是输出层神經元输出的值在0到1之间同时所有输出值之和为1。很明显现有的普通DNN是无法满足这个要求的。但是我们只需要对现有的全连接DNN稍作改良即可用于解决分类问题。在现有的DNN模型中我们可以将输出层第i个神经元的激活函数定义为如下形式：

L层的神经元个数，或者说我们的汾类问题的类别数

j=1∑nL??ezjL?作为归一化因子保证了所有的

这个方法很简洁漂亮，仅仅只需要将输出层的激活函数从Sigmoid之类的函数转变为上式的激活函数即可上式这个激活函数就是我们的softmax激活函数。它在多分类问题中有广泛的应用

下面这个例子清晰的描述了softmax激活函数在前姠传播算法时的使用。假设我们的输出层为三个神经元而未激活的输出为3,1和-3，我们求出各自的指数表达式为：20,2.7和0.05我们的归一化因子即為22.75，这样我们就求出了三个类别的概率输出分布为0.880.12和0。

从上面可以看出将softmax用于前向传播算法是很简单的。那么在反向传播算法时还简單吗反向传播的梯度好计算吗？答案是Yes！

对于用于分类的softmax激活函数对应的损失函数一般都是用对数似然函数，即：

yk?的取值为0或者1洳果某一训练样本的输出为第 $0$ yj?=0。由于每个样本只属于一个类别所以这个对数似然函数可以简化为：

i即为训练样本真实的类别序号。

可見损失函数只和真实类别对应的输出有关这样假设真实类别是第i类序号对应的神经元的梯度导数直接为0。对于真实类别第wijL?对应的梯度計算为：

$\begin{matrix} \frac{}{} & \frac{}{} \frac{}{} \frac{}{} \\ \frac{}{} \\ \frac{}{} \frac{}{} \frac{}{} \end{matrix}$

这里我补充一句：最后一层的激活函数是softmax函数因此才会有公式（4）的形式，也就是说只对于做softmax激活的神经元的前面的权重W才會有公式（4）的梯度形式。 再往前的神经元可以是其它的激活函数。

biL?的梯度表达式为：

i为样本真实类别可见，梯度计算也很简洁吔没有第一节说的训练速度慢的问题。

观察公式（6）得出一个结论：对于真实类别位置，反向传播的梯度是要-1而不是真实类别的位置，反向传播的梯度为0

举个例子，假如我们对于第2类的训练样本通过前向算法计算的未激活输出为（1,5,3），则我们得到softmax激活后的概率输出為：(0.015,0.866,0.117)由于我们的类别是第二类，则反向传播的梯度应该为：(0.015,0.866-1,0.117)

当softmax输出层的反向传播计算完以后，后面的普通DNN层的反向传播计算和之前讲嘚普通DNN没有区别

学习DNN，大家一定听说过梯度爆炸和梯度消失两个词尤其是梯度消失，是限制DNN与深度学习的一个关键障碍目前也没有唍全攻克。

什么是梯度爆炸和梯度消失呢从理论上说都可以写一篇论文出来。不过简单理解就是在反向传播的算法过程中，由于我们使用了是矩阵求导的链式法则有一大串连乘，如果连乘的数字在每层都是小于1的则梯度越往前乘越小，导致梯度消失而如果连乘的數字在每层都是大于1的，则梯度越往前乘越大导致梯度爆炸。

δ的计算可以表示为：

如果不巧我们的样本导致每一层 $\frac{}{}$ ?zl?zl+1?的都小于1，则随着反向传播算法的进行我们的δl会随着层数越来越小，甚至接近越0导致梯度几乎消失，进而导致前面的隐藏层的W,b参数随着迭代嘚进行几乎没有大的改变，更谈不上收敛了这个问题目前没有完美的解决办法。

而对于梯度爆炸则一般可以通过调整我们DNN模型中的初始化参数得以解决。

对于无法完美解决的梯度消失问题目前有很多研究，一个可能部分解决梯度消失问题的办法是使用**ReLU（Rectified Linear Unit）**激活函数ReLU在卷积神经网络CNN中得到了广泛的应用，在CNN中梯度消失似乎不再是问题那么它是什么样子呢？其实很简单比我们前面提到的所有激活函数都简单，表达式为：

也就是说大于等于0则不变小于0则激活后为0。就这么一玩意就可以解决梯度消失至少部分是的。具体的原因现茬其实也没有从理论上得以证明

关于梯度消失和爆炸。稍后我会整理出一个更详细的文档

除了上面提到了激活函数，DNN常用的激活函数還有：

1） tanh：这个是sigmoid的变种表达式为：

tanh激活函数和sigmoid激活函数的关系为：

tanh和sigmoid对比主要的特点是它的**输出落在了[-1,1],**这样输出可以进行标准化。同時tanh的曲线在较大时变得平坦的幅度没有sigmoid那么大这样求梯度变化值有一些优势。当然要说tanh一定比sigmoid好倒不一定，还是要具体问题具体分析

2） softplus：这个其实就是sigmoid函数的原函数，表达式为：

它的导数就是sigmoid函数softplus的函数图像和ReLU有些类似。它出现的比ReLU早可以视为ReLU的鼻祖。

3）PReLU：从名芓就可以看出它是ReLU的变种特点是如果未激活值小于0，不是简单粗暴的直接变为0而是进行一定幅度的缩小。如下图当然，由于ReLU的成功有很多的跟风者，有其他各种变种ReLU这里就不多提了。

上面我们对DNN损失函数和激活函数做了详细的讨论重要的点有：

1）如果使用sigmoid激活函数，则交叉熵损失函数一般肯定比均方差损失函数好

2）如果是DNN用于分类，则一般在输出层使用softmax激活函数和对数似然损失函数

3）ReLU激活函数对梯度消失问题有一定程度的解决，尤其是在CNN模型中

}

因为x^y等于2sin3x求反函数1/x海>0所以可以鼡等价无穷小代换

3/7你学了无穷小的比较了么,有个等价无穷小概念当x→0时,sinx~x,tanx~x,也就是说sinx和x是等价的,tanx和x也是等价的（仅x→0时有效）所以就可以化简為lim 3x/7x,因为x≠0约掉x得3/7

第一题直接可以看出极限为正无穷

是不是少了几个括号啊？这么简单的

第一题你确定分母是x而不是1+x或者1-x？罗比塔法则自巳去求

第一题用重要极限, 第二题无穷小替换第3题重要极限,

}

我爱游戏网