您好、欢迎来到现金彩票网!
当前位置:2019跑狗图高清彩图 > 先行算法 >

一文看懂循环神经网络-RNN(独特价值+优化算法+实际应用)

发布时间:2019-08-09 22:34 来源:未知 编辑:admin

  卷积神经网络 CNN 已经很强大的,为什么还需要RNN?本文会用通俗易懂的方式来解释 RNN 的独特价值——处理序列数据。同时还会说明 RNN 的一些缺陷和它的变种算法。最后给大家介绍一下 RNN 的实际应用价值和使用场景。

  卷积神经网络 CNN 和普通的算法大部分都是输入和输出的一一对应,也就是一个输入得到一个输出。不同的输入之间是没有联系的。

  为了填好下面的空,取前面任何一个词都不合适,我们不但需要知道前面所有的词,还需要知道词之间的顺序。

  这种需要处理「序列数据 一串相互依赖的数据流」的场景就需要使用 RNN 来解决了。

  文章里的文字内容语音里的音频内容股票市场中的价格走势RNN 之所以能够有效的处理序列数据,主要是基于他的比较特殊的运行原理。下面给大家介绍一下 RNN 的基本运行原理。

  传统神经网络的结构比较简单:输入层 隐藏层 输出层。如下图所示:

  RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果,带到下一次的隐藏层中,一起训练。如下图所示:

  假如需要判断用户的说话意图(问天气、问时间、设置闹钟),用户说了一句“what time is it?”我们需要先对这句话进行分词:

  然后按照顺序输入 RNN ,我们先将 “what”作为 RNN 的输入,得到输出「01」

  然后,我们按照顺序,将“time”输入到 RNN 网络,得到输出「02」。

  这个过程我们可以看到,输入 “time” 的时候,前面 “what” 的输出也产生了影响(隐藏层中有一半是黑色的)。

  以此类推,前面所有的输入都对未来的输出产生了影响,大家可以看到圆形隐藏层中包含了前面所有的颜色。如下图所示:

  通过上面的例子,我们已经发现,短期的记忆影响较大(如橙色区域),但是长期的记忆影响就很小(如黑色和绿色区域),这就是 RNN 存在的短期记忆问题。

  RNN 有短期记忆问题,无法处理很长的输入序列训练 RNN 需要投入极大的成本由于 RNN 的短期记忆问题,后来又出现了基于 RNN 的优化算法,下面给大家简单介绍一下。

  RNN 是一种死板的逻辑,越晚的输入影响越大,越早的输入影响越小,且无法改变这个逻辑。

  LSTM 做的最大的改变就是打破了这个死板的逻辑,而改用了一套灵活了逻辑——只保留重要的信息。

  LSTM 类似上面的划重点,他可以保留较长序列数据中的「重要信息」,忽略不重要的信息。这样就解决了 RNN 短期记忆的问题。

  具体技术上的实现原理就不在这里展开了,感兴趣的可以看看 LSTM 的详细介绍《 长短期记忆网络 LSTM 》

  GRU 主要是在 LSTM 的模型上做了一些简化和调整,在训练数据集比较大的情况下可以节省很多时间。

  只要涉及到序列数据的处理问题,都可以使用到,NLP 就是一个典型的应用场景。

  生成图像描述:类似看图说话,给一张图,能够描述出图片中的内容。这个往往是 RNN 和 CNN 的结合。

  RNN的独特价值在于:它能有效的处理序列数据。比如:文章内容、语音音频、股票价格走势

  之所以他能处理序列数据,是因为在序列中前面的输入也会影响到后面的输出,相当于有了“记忆功能”。但是 RNN 存在严重的短期记忆问题,长期的数据影响很小(哪怕他是重要的信息)。

  于是基于 RNN 出现了 LSTM 和 GRU 等变种算法。这些变种算法主要有几个特点:

  长期信息可以有效的保留挑选重要信息保留,不重要的信息会选择“遗忘”RNN 几个典型的应用如下:

http://jubileeny.net/xianxingsuanfa/447.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有