四海八荒最佳深度学习入门教程(8)

原创内容,转载请注明:  [http://www.ssdfans.com]  谢谢!

作者: Zouxy

 
 

想要和Zouxy还有全世界的大牛讨论人工智能异构计算相关技术?加nanoarch为微信好友,拉你进微信群  

 

四海八荒最佳深度学习入门教程(1

四海八荒最佳深度学习入门教程(2

四海八荒最佳深度学习入门教程(3

四海八荒最佳深度学习入门教程(4

四海八荒最佳深度学习入门教程(5

四海八荒最佳深度学习入门教程(6

四海八荒最佳深度学习入门教程(7

 

 

十、总结与展望

 

1Deep learning总结

 

      深度学习是关于自动学习要建模的数据的潜在(隐含)分布的多层(复杂)表达的算法。换句话来说,深度学习算法自动的提取分类需要的低层次或者高层次特征。高层次特征,一是指该特征可以分级(层次)地依赖其他特征,例如:对于机器视觉,深度学习算法从原始图像去学习得到它的一个低层次表达,例如边缘检测器,小波滤波器等,然后在这些低层次表达的基础上再建立表达,例如这些低层次表达的线性或者非线性组合,然后重复这个过程,最后得到一个高层次的表达。

 

       Deep learning能够得到更好地表示数据的feature,同时由于模型的层次、参数很多,capacity足够,因此,模型有能力表示大规模数据,所以对于图像、语音这种特征不明显(需要手工设计且很多没有直观物理含义)的问题,能够在大规模训练数据上取得更好的效果。此外,从模式识别特征和分类器的角度,deep learning框架将feature和分类器结合到一个框架中,用数据去学习feature,在使用中减少了手工设计feature的巨大工作量(这是目前工业界工程师付出努力最多的方面),因此,不仅仅效果可以更好,而且,使用起来也有很多方便之处,因此,是十分值得关注的一套框架,每个做ML的人都应该关注了解一下。

 

       当然,deep learning本身也不是完美的,也不是解决世间任何ML问题的利器,不应该被放大到一个无所不能的程度。

 

2Deep learning未来

 

       深度学习目前仍有大量工作需要研究。目前的关注点还是从机器学习的领域借鉴一些可以在深度学习使用的方法,特别是降维领域。例如:目前一个工作就是稀疏编码,通过压缩感知理论对高维数据进行降维,使得非常少的元素的向量就可以精确的代表原来的高维信号。另一个例子就是半监督流行学习,通过测量训练样本的相似性,将高维数据的这种相似性投影到低维空间。另外一个比较鼓舞人心的方向就是evolutionary programming approaches(遗传编程方法),它可以通过最小化工程能量去进行概念性自适应学习和改变核心架构

 

Deep learning还有很多核心的问题需要解决:

1)对于一个特定的框架,对于多少维的输入它可以表现得较优(如果是图像,可能是上百万维)?

2)对捕捉短时或者长时间的时间依赖,哪种架构才是有效的?

3)如何对于一个给定的深度学习架构,融合多种感知的信息?

4)有什么正确的机理可以去增强一个给定的深度学习架构,以改进其鲁棒性和对扭曲和数据丢失的不变性?

5)模型方面是否有其他更为有效且有理论依据的深度模型学习算法?

 

       探索新的特征提取模型是值得深入研究的内容。此外有效的可并行训练算法也是值得研究的一个方向。当前基于最小批处理的随机梯度优化算法很难在多计算机中进行并行训练。通常办法是利用图形处理单元加速学习过程。然而单个机器GPU对大规模数据识别或相似任务数据集并不适用。在深度学习应用拓展方面,如何合理充分利用深度学习在增强传统学习算法的性能仍是目前各领域的研究重点。

 
 

十一、参考文献和Deep Learning学习资源持续更新……

       先是机器学习领域大牛的微博:@余凯_西二旗民工;@老师木;@梁斌penny@张栋_机器学习;@邓侃;@大数据皮东;@djvu9……

1Deep Learning

http://deeplearning.net/

2Deep Learning Methods for Vision

http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/

3Neural Network for Recognition of Handwritten Digits[Project]

http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi

4Training a deep autoencoder or a classifier on MNIST digits

http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html

5Ersatzdeep neural networks in the cloud

http://www.ersatz1.com/

6Deep Learning

http://www.cs.nyu.edu/~yann/research/deep/

7Invited talk “A Tutorial on Deep Learning” by Dr. Kai Yu (余凯)

http://vipl.ict.ac.cn/News/academic-report-tutorial-deep-learning-dr-kai-yu

8CNN – Convolutional neural network class

http://www.mathworks.cn/matlabcentral/fileexchange/24291

9Yann LeCun’s Publications

http://yann.lecun.com/exdb/publis/index.html#lecun-98

10 LeNet-5, convolutional neural networks

http://yann.lecun.com/exdb/lenet/index.html

11 Deep Learning 大牛Geoffrey E. Hinton’s HomePage

http://www.cs.toronto.edu/~hinton/

12Sparse coding simulation software[Project]

http://redwood.berkeley.edu/bruno/sparsenet/

13Andrew Ng’s homepage

http://robotics.stanford.edu/~ang/

14stanford deep learning tutorial

http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

15)「深度神经网络」(deep neural network)具体是怎样工作的

http://www.zhihu.com/question/19833708?group_id=15019075#1657279

16A shallow understanding on deep learning

http://blog.sina.com.cn/s/blog_6ae183910101dw2z.html

17Bengio’s Learning Deep Architectures for AI

 http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf

18andrew ng’s talk video:

http://techtalks.tv/talks/machine-learning-and-ai-via-brain-simulations/57862/

19cvpr 2012 tutorial

http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/tutorial_p2_nnets_ranzato_short.pdf

20Andrew ng清华报告听后感

http://blog.sina.com.cn/s/blog_593af2a70101bqyo.html

21Kai YuCVPR12 Tutorial on Deep Learning Sparse Coding

22Honglak LeeDeep Learning Methods for Vision

23Andrew Ng Machine Learning and AI via Brain simulations

24Deep Learning 2,3

http://blog.sina.com.cn/s/blog_46d0a3930101gs5h.html

25deep learning这件小事……

http://blog.sina.com.cn/s/blog_67fcf49e0101etab.html

26Yoshua Bengio, U. MontrealLearning Deep Architectures

27Kai YuA Tutorial on Deep Learning

28Marc’Aurelio RanzatoNEURAL NETS FOR VISION

29Unsupervised feature learning and deep learning

http://blog.csdn.net/abcjennifer/article/details/7804962

30)机器学习前沿热点–Deep Learning

http://elevencitys.com/?p=1854

31)机器学习——深度学习(Deep Learning)

http://blog.csdn.net/abcjennifer/article/details/7826917

32)卷积神经网络

http://wenku.baidu.com/view/cd16fb8302d276a200292e22.html

33)浅谈Deep Learning的基本思想和方法

http://blog.csdn.net/xianlingmao/article/details/8478562

34)深度神经网络

http://blog.csdn.net/txdb/article/details/6766373

35Google的猫脸识别:人工智能的新突破

http://www.36kr.com/p/122132.html

36)余凯,深度学习机器学习的新浪潮,Technical News程序天下事

http://blog.csdn.net/datoubo/article/details/8577366

37Geoffrey HintonUCLTutorial on: Deep Belief Nets

38Learning Deep Boltzmann Machines

http://web.mit.edu/~rsalakhu/www/DBM.html

39Efficient Sparse Coding Algorithm

http://blog.sina.com.cn/s/blog_62af19190100gux1.html

40Itamar Arel, Derek C. Rose, and Thomas P. Karnowski Deep Machine Learning—A New Frontier in Artificial Intelligence Research

41Francis Quintal LauzonAn introduction to deep learning

42Tutorial on Deep Learning and Applications

43Boltzmann神经网络模型与学习算法

http://wenku.baidu.com/view/490dcf748e9951e79b892785.html

44Deep Learning Knowledge Graph 引爆大数据革命

http://blog.sina.com.cn/s/blog_46d0a3930101fswl.html

45……

 

 

经作者同意,本文转载自Zouxy大侠的博文《Deep Learning(深度学习)学习笔记整理系列》,作者邮箱 zouxy09@qq.com,博客地址http://blog.csdn.net/zouxy09


欢迎给ssdfans投稿,投稿就能加入ssdfans作者群,和冬瓜哥,蛋蛋,王齐等大咖切磋武艺,还有稿酬拿.

 

喜欢就请分享转发!

 

不想错过后续精彩文章?长按或扫描下面二维码关注ssdfans就可以了!


 

ssdfans微信群介绍

 

ssdfans人工智能异构计算群:讨论人工智能和异构计算架构等技术问题

 

ssdfans-ASIC-FPGA:芯片和FPGA相关的硬件开发人员技术讨论群

 

ssdfans企业级:讨论企业级存储和高性能计算

 

想加入这些群,请加nanoarch为微信好友,介绍你的昵称公司职业,注明群名,拉你进群。

分类目录 未分类.
扫一扫二维码或者微信搜索公众号ssdfans关注(添加朋友->点最下面的公众号->搜索ssdfans),可以经常看到SSD技术和产业的文章(SSD Fans只推送干货)。
ssdfans微信群介绍
技术讨论群 覆盖2000多位中国和世界华人圈SSD以及存储技术精英
固件、软件、测试群 固件、软件和测试技术讨论
异构计算群 讨论人工智能和GPU、FPGA、CPU异构计算
ASIC-FPGA群 芯片和FPGA硬件技术讨论群
闪存器件群 NAND、3D XPoint等固态存储介质技术讨论
企业级 企业级SSD、企业级存储
销售群 全国SSD供应商都在这里,砍砍价,会比某东便宜20%
工作求职群 存储行业换工作,发招聘,要关注各大公司招聘信息,赶快来
高管群 各大SSD相关存储公司高管和创始人、投资人

想加入这些群,请微信扫描下面二维码,或搜索nanoarchplus,加阿呆为微信好友,介绍你的昵称-单位-职务,注明群名,拉你进群。SSD业界需要什么帮助,也可以找阿呆聊。