week1-深度学习概论
1. What is a neural network?
神经网络又称人工神经网络 (ANN) 或模拟神经网络 (SNN)，是机器学习的子集，同时也是深度学习算法的核心。 神经网络其名称和结构均受到人脑的启发，可模仿生物神经元相互传递信号的方式。
人工神经网络 (ANN) 由节点层组成，包含一个输入层、一个或多个隐藏层和一个输出层。 每个节点也称为一个人工神经元，它们连接到另一个节点，具有相关的权重和阈值。 如果任何单个节点的输出高于指定的阈值，那么会激活该节点，并将数据发送到网络的下一层。 否则，不会将数据传递到网络的下一层。
神经网络依靠训练数据来学习，并随时间推移提高自身准确性。 而一旦这些学习算法经过了调优，提高了准确性，它们就会成为计算机科学和人工智能领域的强大工具，使我们能够快速对数据进行分类和聚类。 与由人类专家进行的人工识别相比，语音识别或图像识别任务可能只需要几分钟而不是数小时。 Google 的搜索算法就是最著名的神经网络之一。（引用自IBM网站：https://www.ibm.com/cn-zh/topics/neural-networks）
2. Why is Deep Learning taking off?
当数据量比较小的时候，传统学习模型的表现是比较好的(前期增长明显)。但是当数据量很大的时候，其表现很一般，性能基本趋于水平。
红色曲线上面的那条黄色曲线代表了规模较小的神经网络模型（Small NN）。它在数据量较大时候的性能优于传统的机器学习算法。
黄色曲线上面的蓝色曲线代表了规模中等的神经网络模型（Media NN），它在在数据量更大的时候的表现比Small NN更好。
最上面的那条绿色曲线代表更大规模的神经网络（Large NN），即深度学习模型。从图中可以看到，在数据量很大的时候，它的表现仍然是最好的，而且基本上保持了较快上升的趋势。
近些年来，海量数据出现，超过了传统算法能处理的数据量级。传统机器学习算法在数据量较大的时候，性能一般，很难再有提升。想达到很高的精度，你可以训练规模足够大的神经网络来发挥数据规模量巨大的优点，深度学习模型由于网络复杂，对大数据的处理和分析非常有效。另外在x轴的无穷大的地方，需要大规模数据，因此我们常说，规模一直在推动深度学习的进步。然而，在数据量不大的时候，例如上图中左边区域，深度学习模型不一定优于传统机器学习算法，性能差异可能并不大。
现在深度学习如此强大的原因归结为如下三个：
Data：数据规模
Computation ：计算能力，在CPU还是在GPU上训练更大的神经网络的能力，计算速度的提升有助更快的得到实验结果，提高迭代速度
Algorithms： 算法创新，让神经网络运行得更快（Sigmoid函数，在远离零点的位置，函数曲线非常平缓，其梯度趋于0，改成了ReLU函数）
————————————————
本文部分参考为CSDN博主「双木的木」的原创文章，遵循CC 4.0 BY-SA版权协议，转载附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/csdn_xmj/article/details/114554522