大道至简,知易行难
广阔天地,大有作为

深度学习基础知识半感性小结2-再提线性不可分问题,TensorFlow官方Playground的把玩

一、再提线性不可分问题
在《深度学习基础知识半感性小结1-从线性不可分问题的解决到金融机构信用评级的感性示例》中,我们提到了可以通过深度神经网络来解决线性不可分问题,下面让我们再次感性的认识一下。
http://playground.tensorflow.org(需要翻墙)是TensorFlow官方提供的“游乐场”,提供了一个基于浏览器的可视化示例,其中第一个示例就是我们之前提到的线性不可分问题:

Tensorflow Playground

TensorFlow Playground

我们已经明确,要通过一个线性分类器将图中的蓝色点和黄色点分开是不可能的。而当使用如下有两个隐藏层(第一层4个神经元、第二层2个神经元)组成的全连接神经网络时,则可以快速实现分类(神经元之间的连线颜色的深浅代表了权重的大小):

如果使用更复杂的网络(两层,每层8个神经元),那么可以看到经过多轮迭代后也能够得到类似的结果:

使用神经网络解决线性不可分问题1

使用神经网络解决线性不可分问题1

在Playground中,我们可以看到几个关键概念,包括:

Epoch
Batch Size
Learning Rate
Activation
Regularization
Regularization Rate
FEATURES

其中,部分概念是在《深度学习基础知识半感性小结1-从线性不可分问题的解决到金融机构信用评级的感性示例》中已经提到过的,另外部分概念将在后续总结。

我们知道,单个神经元相当于线性分类器,因此对于第一个示例而言可以通过单层、多个神经元,通过多个线性分类器的叠加的方式来解决线性不可分问题,这可以在Playground中进行验证:

使用神经网络解决线性不可分问题2

使用神经网络解决线性不可分问题2

二、另一个更加复杂的例子
第一个示例可以通过多个线性分类的叠加来解决,接下里让我们看一下无法通过线性分类器叠加解决的第四个示例:

使用神经网络解决线性不可分问题3

使用神经网络解决线性不可分问题3

很显然,对于这样的情况,单层神经网络形成的线性分类器叠加实现分类是困难的;此外,如果仅仅选择之前使用的两个FEATURE作为特征,那么即便是增加了网络的复杂性也需要较多轮的训练。通过下面的动图,我们可以感性地发现,在引入更多的特征同时增加神经网络深度和复杂性的同时,能够实现更好的分类:

使用神经网络解决线性不可分问题5

使用神经网络解决线性不可分问题5

 

转载时请保留出处,违法转载追究到底:进城务工人员小梅 » 深度学习基础知识半感性小结2-再提线性不可分问题,TensorFlow官方Playground的把玩

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址