深度学习  081104M05015H

学期:2020—2021学年(春)第二学期 | 课程属性:专业普及课 | 任课教师:王亮,黄岩
授课时间: 星期三,第2、3、4 节
授课地点: 教一楼101
授课周次: 4、5、6、7、8、9、10、11、12、13、14、15、16
课程编号: 081104M05015H 课时: 40 学分: 2.00
课程属性: 专业普及课 主讲教师:王亮,黄岩 助教:
英文名称: Deep Learning 召集人:

教学目的、要求

本课程着重讲述深度学习的概念、原理、方法和应用,通过大量实例讲述如何将深度学习灵活运用到实际应用之中。本课程要求学生掌握深度学习的基本原理和方法,并能在解决实际问题时进行有效地运用,同时为进一步研究、完善深度学习的理论和方法打下基础。
建议学生掌握一定的理论基础知识和编程基础。理论基础知识包括:概率论、线性代数、线性代数基础。编程基础方面,建议学生至少掌握python语言。
授课方式:课堂讲授与课程实践相结合的方式。课堂讲授深度学习的基本模型、算法和主要应用,并设计相应的实践环节。通过实践环节的设计,让学生更好地结合实际应用将学到的知识能够灵活运用。

预修课程

模式识别、机器学习

教 材

Goodfellow, Y. Bengio, and A. Courville. Deep learning, MIT Press, 2016, http://www.deeplearningbook.org. (中文版:http://item.jd.com/12128543.html)

主要内容

课程讲授38学时+考试2学时=40学时。

第1章 深度学习的发展历程 (3个学时)
1.1 深度学习概念
1.2 传统神经网络缺陷
1.3兴起主要原因
1.4 发展历史简介
1.5 主要研究进展
第2章 基础知识回顾 (3个学时)
2.1 线性代数
2.2 概率论
2.3 机器学习
2.4 Python编程
第3章 深度前馈网络 (2个学时)
3.1 生物神经元联系
3.2 全连接操作
3.3 非线性激活函数
3.4 多层网络结构
3.5 链式求导法则
3.6 反向传播算法
第4章 卷积神经网络 (4个学时)
4.1 局部卷积操作
4.2 平均/最大池化操作
4.3 典型网络结构
4.4 ImageNet图像分类竞赛
4.5 目标检测等应用
第5章 循环神经网络 (2个学时)
5.1 循环连接
5.2 双向操作
5.3 梯度消失和爆炸
5.4 长短时记忆网络
5.5 视频分类等应用
第6章 网络优化算法 (4个学时)
6.1 数据预处理
6.2 激活函数对比
6.3 网络初始化
6.4 冲量优化策略
6.5 学习率大小
6.6 优化损失曲线分析
6.7 常用正则化方法
6.8 提前终止方法
6.9 Dropout方法
第7章 早期深度生成式模型 (2个学时)
7.1 线性因子模型
7.2 深度自编码机
7.3 受限制玻尔兹曼机
7.4 无监督预训练策略
7.5 深度置信网络
7.6 深度玻尔兹曼机
第8章 近期深度生成式模型 (3个学时)
8.1 高维分布建模问题
8.2 生成器与判别器
8.3 最小最大目标函数
8.4 多种近似优化策略
8.5 变分自编码机
8.6 两种生成模型对比
8.7 图像合成等应用
第9章 深度强化学习 (3个学时)
9.1 基本组成单元
9.2 马尔可夫决策过程
9.3 最优策略近似
9.4 模型相关与模型无关方法
9.5 视觉导航等应用
第10章 类脑神经网络 (3个学时)
10.1 注意、记忆、推理等认知机制
10.2 注意机制建模
10.3 记忆机制建模
10.4 推理机制建模
10.5 视觉描述等应用
第11章 图卷积网络 (3个学时)
11.1 图结构数据
11.2 图卷积操作
11.3 深层图卷积网络
11.4 行为识别等应用
第12章 深度学习新型应用场景 (3个学时)
12.1 传统视觉应用
12.2 传统语言应用
12.3 视觉与语言结合应用
12.4 图像句子匹配
12.5 视频描述
12.6 视觉问答
第13章 复习与考试 (5个学时)

参考文献

1. G. E. Hinton and R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 2006. 
2. G. E. Hinton, S. Osindero and Y. W. Teh. A fast learning algorithm for deep belief nets. Neural computation, 2006. 
3. P. Vincent, H. Larochelle, Y. Bengio, and P. Manzagol. Extracting and composing robust features with denoising autoencoders. International Conference on Machine Learning (ICML), 2008. 
4. Y. LeCun and Y. Bengio. Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks, 1995. 
5. S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, 1997. 
6. D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation by jointly learning to align and translate. International Conference on Learning Representation (ICLR), 2015.
7. A. Graves, et al., Hybrid computing using a neural network with dynamic external memory. Nature, 2016.
8. I. Goodfellow et al., Generative adversarial nets. Neural Information Processing System (NIPS), 2014. 
9. D. Silver et al., Mastering the game of Go with deep neural networks and tree search. Nature, 2016.