人工智能的数学基础  081104M05013H

学期:2020—2021学年(春)第二学期 | 课程属性:专业普及课 | 任课教师:郭田德,韩丛英
授课时间: 星期二,第1、2 节
授课地点: 教一楼109
授课周次: 1、2、3、4、5、6、7、8、9、10、11、12、13
授课时间: 星期四,第1、2 节
授课地点: 教一楼109
授课周次: 1、2、3、4、6、7、8、9、10、11、12
授课时间: 星期四,第1、2 节
授课地点: 教一楼109
授课周次: 13
课程编号: 081104M05013H 课时: 50 学分: 2.00
课程属性: 专业普及课 主讲教师:郭田德,韩丛英 助教:
英文名称: Mathematics Foundation in Artificial Intelligence 召集人:

教学目的、要求

本课程为模式识别与智能系统、控制科学与工程、计算机科学、软件工程、信息安全、电子信息、管理科学、应用数学等学科研究生的专业普及课。本课程主要讲述矩阵代数和最优化计算法等人工智能的数学基础,以及矩阵分析、子空间分析、机器学习中的优化模型、一阶求解算法和二阶求解算法及其收敛性理论。通过本课程的学习,希望学生对常用的矩阵代数和最优化计算法有初步的了解,掌握机器学习优化模型的建立方法以及求解这些优化模型的算法设计思路、算法收敛性结果的证明方法,了解机器学习中优化方法的最新研究成果和前沿研究动态,加深学生对机器学习理论方法的理解。
课程基本要求:
1.要求保质保量完成作业。作业涉及算法设计、程序实现,每次题目2-4题,完成作业时间约3-4小时。作业在最后评分中占比约30-40%。
2.课程结束布置大作业,综合的算法设计,分析与对比。大约需要一个周时间内完成。
3.最后课堂考试。

预修课程

高等数学,线性代数,概率论与数理统计

教 材

自编讲义:郭田德、韩丛英、刘彦《机器学习优化方法》

主要内容

共计12.5周,
第一周:  矩阵代数基础   
第二周:矩阵分析前三节  
第三周:子空间分析+最优化基础 
第四周:牛顿法、共轭梯度法 
第五周:拟牛顿算法、有限记忆的拟牛顿法、非光滑优化 
第六周:经验风险、结构风险及其一般优化模型、优化算法的一般框架  
第七周:一阶优化算法及其理论分析 
第八周:方差缩减技术  
第九周:对角矩阵修正技术和其它重要算法 
第十周:优化算法中迭代方向选取方法 
第十一周:优化算法中自适应步长选取方法和随机样本量的选取方法 
第十二周:约束优化的罚方法、增广拉格朗日乘子方法和交替方向乘子方法
第十三周(2节)安排课堂考试

参考文献

袁亚湘、孙文瑜 著, 《最优化理论与方法》 ,科学出版社,1997.
Roger A. Horn Charles R. Johnson著  张明尧 张凡译,矩阵分析(原书第二版),机械工业出版社 2019年12月