飞行时间三维成像实验  080300M02007H

学期:2020—2021学年(春)第二学期 | 课程属性:一级学科普及课 | 任课教师:孙志斌
授课时间: 星期四,第5、6、7 节
授课地点: 教一楼134
授课周次: 1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16
课程编号: 080300M02007H 课时: 45 学分: 3.00
课程属性: 一级学科普及课 主讲教师:孙志斌 助教:
英文名称: Experiments of time of flight Range and three dimensions imaging 召集人:

教学目的、要求

本课程为光电类各专业研究生进一步了解和掌握相关实验技术而开设。课程内容以光电实验中当前较前沿的的光学调制信号(脉冲、方波或正弦波)或单光子飞行时间测量原理予以贯穿。光学实验原理和实验装置较为复杂、结合计算机图像处理算法和数据采集与处理方法等综合教学,兼有科普属性,拓宽研究生知识视野的内容,因而,本课程可较全面地训练光电类研究生动手能力和创新能力,具有较强的趣味性和系统性。
通过本实验课程学习,使研究生理解飞行时间距离测量三维成像原理和成像方法,掌握飞行时间距离测量三维成像在室内定位与导航、建筑测绘、地理测绘、辅助生活环境、立体视觉、人工智能等领域复杂场景下目标识别、提取与分割,边缘阈值滤波方法,图像校准算法与处理方法,融合算法和多场景重构的基本实验技能;另外拓展实验部分初步掌握透视成像实验,散射成像实验和水下成像实验方法。基本掌握飞行时间距离测量三维成像实验和数据处理基本技能。提升研究生的实际操作和实验数据分析能力,掌握实验报告撰写技能和论文撰写初步技能和思维方法。

预修课程

信息光电子学,光学工程,光学测量,光学实验等物理类与光学类课程

教 材

 《飞行时间三维成像》

主要内容

第一章:学习和掌握光子和光脉冲飞行时间三维成像传感器总体技术。
详细讲解飞行时间距离测量三维成像的工作原理,成像模式,时间分辨成像传感器方法,然后介绍基于飞行时间相机系统的时间相关单光子计数,单光子同步探测,相域∑飞行时间成像方法。
第二章:学习和掌握脉冲间接飞行时间3D成像方法和工作原理。
详细讲解差分3D像素阵列性能,相关间接飞行时间3D成像方法与原理,像素阵列飞行时间传感器性能与原理。重点三维成像传感器器件的工作方式,学习使用相机获取强度图像和三维深度图像的操作流程,然后学习导出图像方法。学习如何使用点云数据方式查看三维图像信息。
第三章:学习和掌握基于像素光电混频器件的传感器工作的基本原理。
详细讲解电荷域电光调制器和基于栅极调制器的基本原理,电流辅助调制器,钉扎光电二极管调制器,静态漂移场调制器。
第四章:学习和掌握幅值调制连续波激光雷达的混合像素和多路径干扰。
详细讲解混合像素和多路径干扰组成和模型,多次反射的扰动,空间非连续的误差特性,空间反卷积恢复,采用内部场景散射模型的恢复,特征表面模型的混合像素恢复,相关波前反卷积和波形形状拟合,多频率方法,混合像素和多路径干扰的认知。开展相关多路径恢复实验和处理方法。多帧图像相平均滤波算法,法向量特征提取和阈值滤波处理实验方法。
第五章:学习和掌握距离测量与三维成像的误差,校准和定位方法。
详细讲解基于标记、传感器、数据驱动定位;介绍透镜扭曲,与场景无关的距离测量误差物理模型,焦平面与位置相关的距离测量误差和记录幅值相关的测距误差,内部散射,固定模式噪声,积分时间误差,开展三维相机校准实验,和校准处理算法。
第六章:学习和掌握飞行时间相机在建筑和文物测量和图像重构的应用
详细介绍结构测量分析,前置校准和数据获取方法,入射角对距离测量的影响,物体反射对距离测量的影响,在文化遗产建筑测量方面的测试、数据处理和比较,飞行时间相机性能的建筑雕饰的测量和精度估计,数据获取和双窗处理,用于非连续提出的数字摄影测量学的多重图像匹配方法
第七章:学习和掌握飞行时间相机在室内定位和导航中的应用
详细介绍基于CityGML模型的室内定位,通过物体探测的房间识别,使用距离测量的精确定位, 测绘与Ego运动估计,传感器数据处理,测绘与Ego运动估计,三维碰撞躲避
第八章:学习和掌握飞行时间相机和立体视觉系统的对比和数据融合
详细介绍立体影像系统,立体影像系统的基本几何学,立体影像算法,局域立体算法,全局立体算法,半全局立体算法,飞行时间相机与立体系统的比较研究,基本定量性方法,飞行时间和立体系统的精度、准确度和分辨率, 准确度,精确度,分辨率,实验比较,飞行时间和立体数据融合,数据采集性能参数,局域方法,全局方法,半全局方法。
第九章:学习和掌握光子脉冲飞行时间相机在辅助生活环境的应用
详细介绍AAL语境主动视觉的优势,基于飞行时间相机的跌倒探测结构,硬件平台,相机结构设置,外部参数的自校准,背景模型、人体分割和跟踪, 跌倒探测策略,模拟仿真设置,实验结果,地板探测,人体探测和跟踪,跌倒探测,用于姿态识别的飞行时间相机结构,实验设置,拓扑方法,体积测量方法,实验结果
第十章:学习和正确使用光子飞行时间三维成像软件和硬件系统
详细介绍和掌握成像模式,正确操作飞行时间深度测量三维成像相机的软件操作流程,通过实验掌握三维成像相机的组成,基本结构和功能。掌握飞行时间深度成像相机驱动程序的安装流程,学习使用相机的操作软件和配置参数,学习正确使用三维成像相机操作步骤。
第十一章:学习和正确使用光子脉冲飞行时间三维成像局部和全局算法与实验
详细介绍参数设置方法,学习对成像目标的强度图像、相位图像和深度图像数据处理技术,学习采用标准图像板对强度、相位和深度图像的几何校准方法和技术。学习采用局部处理算法和全局处理方法对三维图像的目标特征提取和重构。
第十二章:学习和掌握光子脉冲飞行时间三维成像标准物体成像实验
在实验开展对标准圆柱体、棱柱、圆锥体等几何标准物体进行实验研究,开展飞行时间三维成像法向量目标提取实验,完成时间飞行三维成像边缘阈值噪声滤波处理实验,完成飞行时间三维成像校准方式实验,完成飞行时间三维散射成像实验,完成飞行时间三维成像多相机单视角融合成像实验。
第十三章:学习和掌握光子脉冲飞行时间三维成像自然目标成像实验
在实验上开展光脉冲飞行时间距离测量三维成像透射、散射、多次散射成像实验,单相机深度测量成像的三维重构,开展概率密度算法对目标物体的处理,多相机单视角融合成像实验,水下实验,室内定位和导航实验,地理测绘、建筑测绘,辅助生活环境,三维双目视觉,人工智能等实验。
第十四章:学习和掌握光子脉冲飞行时间距离测量与三维成像标校实验
在实验上开展标准物体和自然目标物体三维成像的误差,校准和定位方法,开展局域算法,全局算法,半全局算法,分析飞行时间成像的精度、准确度、分辨率和对比度。通过飞行时间三维成像的强度图像,相位图象实现单视角和多视角校准。选择不同的观测对象进行三维数据获取,分析所选对象的共性和差异性特征,并撰写研究报告。
第十五章:学习和掌握光子脉冲飞行时间三维成像实验数据分析并汇报实验结果
开展光子脉冲飞行时间三维成像,结合几何标准物、自然物体的三维成像,全局算法、局部算法、双阈值算法、法向量提取算法、概率密度算法、球旋转重构算法,三角重构等算法的数据处理效果;开展强度、相位或深度校准,分析光学畸变、系统误差、相关误差和非相关误差,分析光照强度产生的对比度变化,分析图像的准确度、重复精度等,并按照小组研讨实验的处理结果。

参考文献

《飞行时间三维成像》,国防工业出版社,孙志斌