机器学习  081100M01007H

学期:2020—2021学年(春)第二学期 | 课程属性:一级学科核心课 | 任课教师:赫然,王闯,孟高峰
授课时间: 星期二,第5、6、7 节
授课地点: 教一楼009
授课周次: 14、15
授课时间: 星期四,第10、11、12 节
授课地点: 教一楼107
授课周次: 1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16
课程编号: 081100M01007H 课时: 54 学分: 3.00
课程属性: 一级学科核心课 主讲教师:赫然,王闯,孟高峰 助教:段俊贤
英文名称: Machine Learning 召集人:

教学目的、要求

通过本课程的学习,希望学生能了解机器学习基本原理,掌握机器学习的基本思想和关键算法,了解机器学习最新研究成果和前沿研究动态,培养学生在相关方向上的研究兴趣和解决实际问题的能力。
课程基本要求:了解机器学习基本原理,掌握机器学习的基本算法和关键思想,学会动手实现机器学习中设计到的基本的算法,了解机器学习的研究方向与热点,培养在机器学习上提出问题并解决问题的能力。

预修课程

模式识别、计算机视觉、图像处理

教 材

1. 周志华. 机器学习.清华大学出版社, 2015. 北京.

主要内容

第一章 绪论(3学时)
1.1 什么是机器学习
1.2 机器学习发展历程
1.3 机器学习问题与方法分类
1.4 机器学习应用现状
1.5 本课程内容体系
第二章 线性模型(3学时)
2.1 基本形式
2.2 线性回归
2.3 对数几率回归
2.4 线性判别分析
2.5 多类分类学习
2.6 类别不平衡问题
第三章 神经网络(3学时)
3.1 神经元模型
3.2 误差反向传播算法
3.3 其它常见神经网络
3.4 深度学习发展历程
3.6卷积神经网络
3.7 反馈神经网络
3.8 spiking神经网络
第四章  支持向量机(3学时)
4.1 结构风险、经验风险与VC维
4.2 间隔与支持向量
4.3 对偶问题
4.4 软间隔与正则化
4.5 支持向量回归
第五章  降维与度量学习(3学时)
7.1 主成分分析
7.2 多维缩放方法
7.3 流形学习方法 
7.4 度量学习
第六章 聚类 (3学时)
5.1 聚类和无监督学习
5.2 常用聚类算法(原型聚类、密度聚类、层次聚类)
5.3 聚类评价指标
5.4 高斯混合聚类与EM算法
5.5 谱聚类
5.6 集成聚类
5.7 子空间聚类
5.8 图上的聚类算法
第七章  集成学习(3学时)
6.1 个体与集成
6.2 Boosting
6.3  Bagging与随机森林
6.4  结合策略
6.5  多样性
第八章  特征选择(3学时)
8.1 子集搜索与评价
8.2 过滤式选择
8.3包裹式选择
8.4嵌入式选择
8.5 稀疏学习与字典学习
8.6 压缩感知
第九章  半监督学习(3学时)
9.1 半监督学习问题
9.2 生成式方法
9.3 图上的半监督学习方法
9.4 基于分歧的方法
9.5 半监督聚类
第十章  强化学习(6学时)
10.1 任务与奖赏
10.2 有模型学习
10.3 免模型学习
10.4 值函数近似
10.5 模仿学习
第十一章  概率图模型(6学时)
11.1 隐马尔可夫模型
11.2 马尔可夫随机场
11.3条件随机场
11.4 学习与推断
第十二章 图卷积神经网络(3学时)
12.1 图模型的典型问题
12.2 顶点嵌入、图嵌入方法
12.3 消息传递神经网络
12.4 图上的注意力模型、层次化图模型
12.5 图上的生成模型
12.6 图匹配算法
第十三章 生成模型(6学时)
13.1 深度受限玻尔兹曼机
13.2 自编码机
13.3 变分自编码机和下届
13.4 对抗生成模型
13.5 表示学习、隐变量解耦
13.6 最大互信息模型、自监督模型
13.7 计算两分布间的距离的方法
13.8 生成模型和迁移学习
第十四章 量子统计学习(6学时)
14.1 量子统计物理简介
14.2 玻尔兹曼分布与配分函数
14.3 变分自由能原理与消息传递
14.4 反伊辛问题和概率图模型参数学习
14.5 概率图模型的张量表示
14.6 张量网络重整化

参考文献

1. 李航著,统计学习方法,清华大学出版社,2012年3月出版
2. Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.
3. E.P. Xing, A.Y. Ng, M.I. Jordan, S. Russell, Distance metric learning, with application to clustering with side-information, in: Advances in NIPS, MIT Press, Cambridge, MA, USA, 2003, pp. 505–512
4. X. J. Zhu, “Semi-supervised learning literature survey,” University of Wisconsin-Madison, Tech. Rep. Computer Sciences 1530, 2008
5. X. J. Zhu, Z. Ghahramani, and J. Lafferty, “Semi-supervised learning using gaussian fields and harmonic functions,” in Proceedings of International Conference of Machine Learning, Washington DC, USA, 2003, pp. 912–919
6. G. E. Hinton and R. R. Salakhutdinov, Reducing the Dimensionality of Data with Neural Networks, Science, vol. 313, pp. 504-507,2006
7. S. Roweis and L. Saul, “Nonlinear Dimensionality Reduction by Locally Linear Embedding,” Science, vol. 290, pp. 2323-2326, 2000
8. J.B. Tenenbaum, V. de Silva, and J.C. Langford, “A Global Geometric Framework for Nonlinear Dimensionality Reduction,” Science, vol. 290, pp. 2319-2323, 2000.
9. A. Y. Ng, M. Jordan, and Y. Weiss. On spectral clustering: Analysis and an algorithm, In: Advances in Neural Information Processing Systems, Vancouver, Canada, 2001, pp. 849-856.
10. Andrew Moore, Support Vector Machine Tutorial, http://www.autonlab.org/tutorials/svm.html
11. Yoshua Bengio, Ian J. Goodfellow, Aaron Courville, Deep Learning, http://www.iro.umontreal.ca/~bengioy/dlbook, 2016 (Book in preparation, MIT Press).