图形、图像、视觉关键知识框架梳理

大家好，欢迎来到IT知识分享网。

整理下计算机视觉、计算机图像、计算机图形等相关的几门科学技术的知识，方便对比学习，避免混淆。

• 计算机视觉Computer Vison，简称CV
• 机器视觉 Machine Vison，简称MV
• 模式识别 Pattern Recognition，简称PR
• 计算机图形学Computer Graphics，简称CG
• 数字图像处理Digital Image Processing，简称DIP
• 数据科学Digital Science，简称DS
• 知识图谱 Knowledge Graph，简称KG
• 数据可视化Data visualization，简称DV

这里统称为计算机视图科技，代表性的八个学科区别和联系：

对主要知识和应用的归纳总结：

以下是基于参考资料的关键技术框架整理。

******************************************************************************

一、数字图像处理

(一) 生理视觉基础

人眼特性、色彩空间、多通道特性、亮度自适应、对比度敏感度函数（CSF）、视觉掩盖效应、立体视觉的形成过程、立体视觉系统的生理特性、立体视觉系统的心理特性、立体视觉生理特性与心理特性的关系、JND模型与显著性模型、JND模型、显著性模型

(二) 数字图像处理

1. 图像处理基础

a) 图像（表示和显示、空间分辨率和幅度分辨率、图像质量、数字化（采样、量化）、图像性质（度量、拓扑、直方图、熵、视觉感知、品质、噪声））

b) 图像工程（图像技术和图像工程、层次、相关学科和领域、技术应用、文献统计分类）

c) 图像处理系统（框图、采集、显示和打印、存储）

d) 色彩原理和分析

e) 摄像机（光敏、黑白、彩色）

f) 图像数据结构（表示层次、矩阵、链、拓扑、关系结构、分层结构）

2. 图像增强

g) 空域增强-点操作（坐标变换——基本坐标变换、坐标变换扩展；图像间运算——算术和逻辑运算、图像间算术运算应用；图像灰度映射——灰度映射原理、典型灰度映射；直方图变换——直方图均衡化、直方图规定化）

h) 空域增强-模板操作（像素间联系——邻域和邻接、连接和连通、像素间距；模板运算；线性滤波——线性平滑滤波、线性锐化滤波；非线性滤波——非线性平滑滤波、非线性锐化滤波、线性和非线性混合滤波；局部增强）

i) 频域图像增强（频域技术原理；傅里叶变换——2D傅里叶变换、傅里叶变换定理、快速傅里叶变换；低通和高通滤波；带通和带阻滤波；同态滤波；亮度成像模型；同态滤波增强）

3. 图像恢复

a) 图像消噪和恢复（图像退化及模型——退化示例、退化模型；噪声滤除——噪声描述、噪声概率密度函数、均值类滤波器、排序类统计滤波器、选择性滤波器；无约束恢复——无约束恢复公式、逆滤波；有约束恢复——有约束恢复公式、维纳滤波器、有约束最小平方恢复；交互式恢复）

b) 图像校正和修补（图像仿射变换——一般仿射变换、特殊仿射变换、变换间的联系；几何失真校正——空间变换、灰度插值；图像修复——修补原理、全变分模型、混合模型；区域填充——基于样本的方法、结合稀疏表达的方法）

c) 图像去雾（暗通道先验去雾算法及改进——基本方法、尺度自适应、透射率估计、大气光区域确定、大气光值校正、浓雾图像去雾；改善失真的综合算法——改进算法流程、空间转换 、 透射率空间的大气散射图、天空区域检测、对比度增强；去雾效果评价——可见边缘梯度法、 基于视觉感知的评价、主客观结合的评价实例）

d) 图像投影重建（投影重建方式——透射断层成像、发射断层成像、反射断层成像、电阻抗断层成像、磁共振成像；投影重建原理——基本模型、拉东变换、傅里叶反变换重建；逆投影重建——逆投影重建原理、卷积逆投影重建、其他逆投影重建方法；迭代重建——迭代重建模型、代数重建技术、最大似然-最大期望重建算法；综合重建方法）

4. 图像编码

a) 图像编码基础（图像压缩原理——数据冗余、图像编解码、图像保真度和质量；编码定理——信息单位和信源描述、无失真编码定理、率失真编码定理；位平面编码——位平面的分解、位平面的编码；变长编码——哥伦布编码、哈夫曼编码、香农-法诺编码、算术编码）

b) 图像变换编码——可分离和正交图像变换；离散余弦变换；正交变换编码——正交变换编码系统、子图像尺寸选择、变换选择、比特分配；小波变换——小波变换基础、1-D小波变换、快速小波变换、2-D小波变换、小波变换编码——小波变换编解码系统—— 基于提升小波的编码）

c) 更多图像编码方法（基于符号的编码；LZW 编码；预测编码——无损预测编码、有损预测编码；矢量量化；准无损编码；比较和评述——不同方法特性的比较、其他编码方法）

5. 图像处理应用技术

a) 图像信息安全（水印原理和特性——水印的嵌入和检测、水印特性、水印分类；DCT域图像水印——无意义水印算法、有意义水印算法；DWT 域图像水印——人眼视觉特性 、 小波水印算法；水印性能评判——失真测度、基准测量和攻击、水印性能测试示例、图像认证和取证——基本概念、图像被动取证、图像可逆认证、图像取证示例、图像反取证；图像信息隐藏——信息隐藏技术分类、基于迭代混合的图像隐藏）

b) 彩色图像处理（彩色视觉和色度图——彩色视觉基础、三基色与色匹配、色度图；彩色模型——面向硬设备的彩色模型、面向视觉感知的彩色模型；伪彩色增强；真彩色处理——处理策略、单分量变换增强、全彩色增强、全彩色滤波和消噪）

c) 视频图像处理（视频表达和格式——视频基础；彩色电视制式；运动分类和表达；运动检测——利用图像差的运动检、基于模型的运动检测、频率域运动检测；视频滤波—— 基于运动检测的滤波、基于运动补偿的滤波、消除匀速直线运动模糊；视频预测编码）

d) 多尺度图像处理（多尺度表达；高斯和拉普拉斯金字塔——高斯金字塔、拉普拉斯金字塔、原始图像的重建；多尺度变换技术——类多尺度变换技术、多尺度变换技术比较； 基于多尺度小波的处理；超分辨率技术——基本模型和技术分类、基于单幅图像的超分辨率复原、基于多幅图像的超分辨率重建、基于示例的学习方法、基于稀疏表达的超分辨率重建、基于局部约束线性编码的超分辨率重建）

(三) 数字图像分析

1. 图像分析基础

图像分析；图像分析中的数字化——离散距离、连通组元、数字化模型、数字弧和弦；

距离变换——定义和性质、局部距离的计算、距离变换的实现

2. 图像分割

a) 图像分割基础（图像分割定义和技术分类；并行边界技术——边缘及检测原理、正交梯度算子、方向微分算子、二阶导数算子、边界闭合；串行边界技术——主动轮廓模型、 能量函数；并行区域技术——原理和分类、依赖像素的阈值选取、依赖区域的阈值选取、 依赖坐标的阈值选取、空间聚类；串行区域技术——区域生长、分裂合并）

b) 典型分割算法（兴趣点检测——二阶导数检测角点、最小核同值区算子、哈里斯兴趣点算子；图割方法；特色的阈值化和聚类技术——多分辨率阈值选取、借助过渡区选择阈值、借助均移确定聚类；分水岭分割算法——基本原理和步骤、算法改进和扩展

c) 分割技术扩展（从像素单元到目标单元——像素和目标之间的单元、椭圆目标检测； 从哈夫变换到广义哈夫变换——哈夫变换、广义哈夫变换原理、完整广义哈夫变换； 从像素到亚像素——基于矩保持的技术、利用

d) 一阶微分期望值的技术、借助切线信息的技术；从 2D图像到3D图像——3D边缘检测、3D图像阈值化；从灰度到彩色——彩色空间的选择、彩色图像分割策略

e) 分割评价比较（分割评价研究分类；分割算法评价框架；分割评价准则——分析法准则、优度试验法准则、差异试验法准则；算法评价实例——实验算法和图像、实验结果和讨论；评价方法和准则比较——方法讨论和对比、准则的分析比较、准则的实验比较；基于评价的算法优选系统——算法优选思想和策略、优选系统的实现和效果）

3. 表达描述

a) 目标表达（基于边界的表达——技术分类、链码、边界段、边界标志、多边形、地标点；基于区域的表达——技术分类、空间占有数组、四叉树、金字塔、围绕区域、 骨架；基于变换的表达——技术分类、傅里叶变换表达）

b) 目标描述（基于边界的描述——简单边界描述符、形状数、边界矩；基于区域的描述——简单区域描述符、拓扑描述符、区域不变矩；对目标关系的描述——目标标记和计数、点目标的分布、字符串描述、、树结构描述）

c) 测量和误差分析（直接测度和间接测度；需区别的术语——准确性和精确性、模型假设和实际观察、4-连通和8-连通；影响测量误差的因素——误差来源、光学镜头分辨率、采样密度、分割算法、特征计算公式、综合影响、随机样本共识；误差分析）

4. 特性分析

a) 纹理分析（纹理研究概况；纹理描述的统计方法——灰度共生矩阵、基于共生矩阵的纹理描述符、基于能量的纹理描述符；纹理描述的结构方法——结构描述法基础、 纹理镶嵌、局部二值模式；纹理描述的频谱方法——傅里叶频谱、盖伯频谱；一种纹理分类合成方法；纹理分割——有监督纹理分割、无监督纹理分割）

b) 形状分析（形状定义和研究；平面形状的分类；形状特性的描述——形状紧凑性描述、形状复杂性描述；基于技术的描述——基于多边形的描述符、基于离散曲率的描述符；拓扑结构的描述；分形维数）

c) 运动分析（运动研究内容；运动目标检测——背景建模、光流场、特定运动模式的检测；运动目标分割——目标分割和运动信息提取、稠密光流算法、基于参数和模型的分割；运动目标跟踪——典型技术、子序列决策策略）

d) 显著性和属性（显著性概述；显著性检测；显著区域分割提取——基于对比度幅值、 基于对比度分布、基于最小方向对比度、显著目标分割和评价；属性描述概况；属性提取中的特征比较；属性应用——跨类目标分类、属性学习和目标识别、基于局部动作属性的动作分类）

5. 数学工具

a) 数学形态学：二值（基本集合定义；二值形态学基本运算——二值膨胀和腐蚀、二值开启和闭合、二值基本运算性质；二值形态学组合运算——击中-击不中变换、二值组合运算；二值形态学实用算法）

b) 数学形态学：灰度（灰度图像的排序；灰度形态学基本运算——灰度膨胀和腐蚀、灰度开启和闭合、灰度基本运算性质；灰度形态学组合运算；灰度形态学实用算法； 图像代数）

c) 图像识别（模式和分类；不变量交叉比——交叉比、非共线点的不变量、对称的交叉比函数、交叉比应用示例；统计模式识别——最小距离分类器、最优统计分类器、 自适应自举；感知机和支持向量机——感知机、支持向量机；结构模式识别——字符串结构识别、树结构识别）

(四) 图像理解

a) 图像理解基础

图像工程——发展、基本概念和定义概括、图像技术发展情况回顾；图像理解及相关学科——图像理解、计算机视觉、其他相关学科、图像理解的应用领域；图像理解理论框架——马尔视觉计算理论、对马尔理论框架的改进、关于马尔重建理论的讨论、 新理论框架的研究；内容框架和特点

b) 采集表达

a) 摄像机成像（视觉过程；摄像机成像模型——基本摄像机模型、近似投影模式、一般摄像机模型、通用成像模型；摄像机标定——标定程序和参数、两级标定法；亮度成像——光度学和光源、从亮度到照度）

b) 压缩感知与成像（压缩感知概述；稀疏表达；测量矩阵及特性——采样/测量模型、测量矩阵特性；解码重构——重构原理、测量矩阵的校准、典型重构算法；稀疏编码与字典学习——字典学习与矩阵分解、非负矩阵分解、端元提取、稀疏编码；压缩感知的成像应用——单像素相机、压缩感知磁共振成像）

c) 深度信息采集（高维图像和成像方式——高维图像种类、本征图像和非本征图像、

、深度成像方式；双目成像模式——双目横向模式、双目会聚横向模式、双目轴向模式；深度图像直接采集——飞行时间法、结构光法、莫尔等高条纹法、深度和亮度图像同时采集； 显微镜3-D 分层成像——景深和焦距、显微镜3D成像、共聚焦显微镜3D 成像）

d) 3D景物表达（曲线和曲面的局部特征——曲线局部特征、曲面局部特征；3D表面表达——参数表达、表面朝向表达；等值面的构造和表达——行进立方体算法、 覆盖算法；从并行轮廓插值3D表面；3D实体表达——基本表达方案、广义圆柱体表达）

c) 景物重建

a) 立体视觉：双目（立体视觉模块；基于区域的双目立体匹配——模板匹配、立体匹配；基于特征的双目立体匹配——基本步骤、尺度不变特征变换、加速鲁棒性特征、 动态规划匹配；视差图误差检测与校正）

b) 立体视觉：多目（水平多目立体匹配——水平多目图像、倒距离；正交三目立体匹配——基本原理、基于梯度分类的正交匹配；多目立体匹配——任意排列三目立体匹配、正交多目立体匹配；亚像素级视差计算）

c) 景物恢复：多图像（单目景物恢复；光度立体学——景物亮度和图像亮度、表面反射特性和亮度、景物表面朝向、反射图和亮度约束方程、光度立体学求解；从运动求取结构——光流和运动场、光流方程求解、光流与表面取向、光流与相对深度）

d) 景物恢复：单图像（从影调恢复形状——影调与形状、亮度方程求解；纹理与表面朝向——单目成像和畸变、由纹理变化恢复朝向、检测线段纹理消失点、确定图像外消失点；由焦距确定深度；根据三点透视估计位姿）

d) 场景解释

a) 知识表达和推理（知识基础；场景知识——模型、属性超图、基于知识的建模；过程知识；知识表达——知识表达要求、知识表达类型、图像理解系统中的知识模块、 基本知识表达方案；逻辑系统——谓词演算规则、利用定理证明来推理；语义网； 产生式系统）

b) 广义匹配（匹配概述——匹配策略和类别、匹配和配准、匹配评价；目标匹配—— 匹配的度量、对应点匹配、字符串匹配、惯量等效椭圆匹配、形状矩阵匹配；动态模式匹配；关系匹配；图同构——图论简介、图同构和匹配；线条图标记）

c) 场景分析和语义解释（场景理解概述；模糊推理——模糊集和模糊运算、模糊推理方法；遗传算法图像解释——遗传算法原理、语义分割和解释；场景目标标记；场景分类——词袋/特征包模型、pLSA 模型、LDA 模型）

e) 研究示例

a) 多传感器图像信息融合（信息融合概述；图像融合——主要步骤、三个层次、效果评价；像素级融合方法——基本融合方法、融合方法的结合、小波融合时的最佳分解层数、压缩感知图像融合、像素级融合示例；特征级和决策级融合方法——贝叶斯法、证据推理法、粗糙集理论法）

b) 基于内容的图像和视频检索（图像和视频检索原理；视觉特征的匹配和检索——颜色特征匹配、纹理特征计算、多尺度形状特征、综合特征检索；基于运动特征的视频检索——全局运动特征、局部运动特征；视频节目分析和索引——新闻视频结构化、体育比赛视频排序、家庭录像视频组织；语义分类检索——基于视觉关键词的图像分类、高层语义与气氛）

c) 时空行为理解（时空技术；时空兴趣点；动态轨迹学习和分析——自动场景建模、 学习路径、自动活动分析；动作分类和识别——动作分类、动作识别；活动和行为建模——动作建模、活动建模和识别；主体与动作联合建模——单标签主体-动作识别、多标签主体-动作识别、主体-动作语义分割）

****************************************************************************************

二、计算机视觉

《计算机视觉 一种现代方法》

第一部分图像生成

1.摄像机的几何模型

图像成像——针孔透视、弱透视、带镜头的照相机、人的眼睛；内参数和外参数——刚体变换和齐次坐标、内参数、外参数、透视投影矩、弱透视投影矩阵；照相机的几何标定——使用线性方法对照相机进行标定、使用非线性方法对照相机进行标定

2.光照及阴影

像素的亮度——表面反射、光源及其产生的效果、朗伯+镜面反射模型、面光源；阴影的估算——辐射校准和高动态范围图像、镜面反射模、对亮度和照度的推、光度立体技术：从多幅阴影图像恢复形状；对互反射进行建模——源于区域光在一个块上的照度、热辐射和存在性、互反射模型、互反射的定性性质；一个阴影图像的形状

3.颜色

人类颜色感知——颜色匹配、颜色感受体；颜色物理学——颜色的来源、表面颜色；颜色表示——线性颜色空间、非线性颜色空间；图像颜色的模型——漫反射项、镜面反射项；基于颜色的推论——用颜色发现镜面反射、用颜色去除阴影、颜色恒常性：从图像颜色获得表面颜色

第二部分早期视觉：使用一幅图像

4.线性滤波

线性滤波与卷积——卷积；移不变线性系统——离散卷积、连续卷积、离散卷积的边缘效应；空间频率和傅里叶变换——傅里叶变换；采样和混叠——采样、混叠、平滑和重采样；滤波器与模板——卷积与点积、基的改变；技术：归一化相关和检测模式——通过归一化相关检测手势的方法来控制电视机；技术：尺度和图像金字塔——高斯金字塔、多尺度表示的应用

5.局部图像特征

计算图像梯度——差分高斯滤波；对图像梯度的表征——基于梯度的边缘检测子、方向；查找角点和建立近邻——查找角点、采用尺度和方向构建近邻；通过SIFT特征和HOG特征描述近邻——SIFT特征、HOG特征；实际计算局部特征

6.纹理

利用滤波器进行局部纹理表征——斑点和条纹、从滤波器输出到纹理表征、实际局部纹理表征；通过纹理基元的池化纹理表征——向量量化和纹理基元、k均值聚类的向量量化；纹理合成和对图像中的空洞进行填充——通过局部模型采样进行合成、填充图像中的空洞；图像去噪、非局部均值、三维块匹配(BM3D)、稀疏编码学习、结果；由纹理恢复形状——在平面内由纹理恢复形状、从弯曲表面的纹理恢复形状

第三部分低层视觉：使用多幅图像

7.立体视觉

双目摄像机的几何属性和对极约束——对极几何、本征矩阵、基础矩阵；双目重构——图像矫正；人类立体视觉；双目融合的局部算法——相关、多尺度的边缘匹配、双目融合的全局算法——排序约束和动态规划、滑约束和基于图的组合优化；使用多台摄像机；应用：机器人导航

8.从运动中恢复三维结构

内部标定的透视摄像机——问题的自然歧义性、从两幅图像估计欧氏结构和运动、从多幅图像估计欧氏结构和运动；非标定的弱透视摄像机、问题的自然歧义性、从两幅图像恢复仿射结构和运动、从多幅图像恢复仿射结构和运动、从仿射到欧氏图像；非标定的透视摄像机——问题的自然歧义性、从两幅图像恢复投影结构和运动、从多幅图像恢复投影结构和运动、从投影到欧氏图像

第四部分中层视觉方法

9.基于聚类的分割方法

人类视觉：分组和格式塔原理；重要应用——背景差分、镜头的边界检测、交互分割、形成图像区域；基于像素点聚类的图像分割——基本的聚类方法、分水岭算法、使用k均值算法进行分割、均值漂移：查找数据中的局部模型、采用均值漂移进行聚类和分割；分割、聚类和图论——图论术语和相关事实、根据图论进行凝聚式聚类、根据图论进行分解式聚类

、归一化切割；图像分割在实际中的应用——对分割器的评估

10.分组与模型拟合

霍夫变换——用霍夫变换拟合直线、霍夫变换的使用；拟合直线与平面——拟合单一直线、拟合平面、拟合多条直线；拟合曲线；鲁棒性——M估计法、RANSAC：搜寻正常点；用概率模型进行拟合——数据缺失问题、混合模型和隐含变量、混合模型的EM算法、EM算法的难点；基于参数估计的运动分割——光流和运动、光流模型、用分层法分割运动；模型选择：哪个最好——利用交叉验证选择模型

11．跟踪

简单跟踪策略——基于检测的跟踪、基于匹配的平移跟踪、使用仿射变换来确定匹配；匹配跟踪、匹配摘要表征、流跟踪；基于卡尔曼滤波器的线性动态模型跟踪——线性测量值和线性动态模型、卡尔曼滤波、前向后向平滑；数据相关——卡尔曼滤波检测方法、数据相关的关键方法；粒子滤波——概率分布的采样表示、最简单的粒子滤波器、跟踪算法、可行的粒子滤波器、创建粒子滤波器中的粒子

第五部分高层视觉

12.配准

刚性物体配准——迭代最近点、通过关联搜索转换关系、应用：建立图像拼接；基于模型的视觉：使用投影配准刚性物体——验证：比较转换与渲染后的原图与目标图；配准可形变目标——使用主动外观模型对纹理进行变形、实践中的主动外观模型、应用：医疗成像系统中的配准

13.平滑的表面及其轮廓

微分几何的元素——曲线、表面；表面轮廓几何学——遮挡轮廓和图形轮廓、图像轮廓的歧点和拐点、Koenderink定理；视觉事件：微分几何的补充——高斯映射的几何关系、渐近曲线、渐近球面映射、局部视觉事件、双切射线流形、多重局部视觉事件、外观图

14．深度数据

主动深度传感器；深度数据的分割——分析微分几何学的基本元素、在深度图像中寻找阶跃和顶边、把深度图像分割为平面区域；深度图像的配准和模型获取、四元组、使用最近点迭代方法配准深度图像、多幅深度图像的融合；物体识别、使用解释树匹配分段平面表示的表面、使用自旋图像匹配自由形态的曲面；Kinect、特征、技术：决策树和随机森林、标记像素、计算关节位置

15．用于分类的学习

分类、误差和损失函数——基于损失的决策、训练误差、测试误差和过拟合、正则化、错误率和交叉验证、受试者工作特征曲线(ROC)；主要的分类策略——示例：采用归一化类条件密度的马氏距离、示例：类条件直方图和朴素贝叶斯、示例：采用最近邻的非参分类器、示例：线性支持向量机、示例：核机器、示例：级联和Adaboost；构建分类器的实用方法——手动调整训练数据并提升性能、通过二类分类器构建多类分类器、求解SVM和核机器的方案

16．图像分类

构建好的图像特征——示例应用、采用GIST特征进行编码布局、采用视觉单词总结图像、空间金字塔、采用主分量进行降维、采用典型变量分析进行降维、示例应用：检测不雅图片、示例应用：材料分类、示例应用：场景分类；分类单一物体的图像——图像分类策略、图像分类的评估系统、固定类数据集、大量类的数据集、花、树叶和鸟：某些特定的数据集；在实践中进行图像分类——关于图像特征的代码、图像分类数据库、数据库偏差、采用众包平台进行数据库收集

17．检测图像中的物体

滑动窗口法——人脸检测、行人检测、边界检测；检测形变物体；物体检测算法的发展现状——数据库和资源

18．物体识别

物体识别应该做什么——物体识别系统应该做什么、目前物体识别的策略、什么是类别、选择：应该怎么描述；特征问题——提升当前图像特征、其他类型的图像特征；几何问题语义问题——属性和不熟悉、部分、姿态部件和一致性、块的意义：部分、姿态部件、物体、短语和场景

第六部分 应用与其他主题

19．基于图像的建模与渲染

可视外壳——可视外壳模型的主要元素、跟踪相交曲线、分割相交曲线、锥带三角化、结果、更进一步：雕刻可视外壳；基于贴片的多视立体视觉——PMVS模型的主要元素、初始特征匹配、扩张、过滤、结果；光场

20．对人的观察

隐马尔可夫模型、动态规划和基于树形结构的模型——隐马尔可夫模型、关于HMM的推理、通过EM拟合HMM、树形结构的能量模型；对图像中的人进行解析——图形结构模型的解析、估计衣服的表面；人的跟踪——为什么人的跟踪如此困难、通过表面进行运动跟踪、采用模板进行运动人体跟踪；从二维到三维：提升、在正视图进行重构、利用外貌进行精确重构、利用运动进行精确重构；行为识别——背景：人类运动数据、人体结构和行为识别、采用外貌特征识别人类行为、采用组合的模型识别人类行为

第21章图像搜索与检索

应用背景——应用、用户需求、图像查询的类别、什么样的用户使用图像采集；源自信息检索的基本技术——单词统计、单词统计的平滑、最近邻估计和哈希、文本排序；图像文件——没有量化的匹配、根据查询结果对图像进行排序、浏览与布局、图像浏览布局；对注释的图片预测——源于邻近文字的注释、源于整幅图的注释、采用分类器预测关联的单词、人名与人脸、通过分割生成标签；目前最先进的单词预测器——资源、方法比较、开放问题

第七部分 背景材料

第22章优化技术

线性最小二乘法——正则方程和伪逆、齐次方程组和特征值问题、广义特征值问题、示例：拟合平面上的一条直线、奇异值分解；非线性最小二乘法——牛顿方法：平方非线性方程组、牛顿方法：过约束的非线性方程组、高斯牛顿法和Levenberg-Marquardt法；稀疏编码和字典学习——稀疏编码、字典学习、监督字典学习；最小切/最大流问题和组合优化——最小切问题、二次伪布尔函数、泛化为整型变量

《计算机视觉：模型、学习和推理》

第一部分 概率

1. 概率概述

随机变量；联合概率；边缘化；条件概率；贝叶斯公式；独立性；期望

2. 常用概率分布

伯努利分布；贝塔分布；分类分布； 狄利克雷分布；一元正态分布；正态逆伽马分布；多元正态分布；正态逆维希特分布；共轭性

3.拟合概率模型

最大似然法；最大后验法；贝叶斯方法；算例1：一元正态分布、最大似然估计、 最大后验估计、贝叶斯方法；算例2：分类分布——最大似然法、最大后验法、贝叶斯方法

4. 正态分布

协方差矩阵的形式；协方差分解；变量的线性变换；边缘分布；条件分布；正态分布的乘积；变量改变

第二部分 机器视觉的机器学习

5.视觉学习和推理

计算机视觉问题；模型的种类——判别模型、生成模型；示例1：回归——判别模型、生成模型；示例2：二值分类——判别模型、生成模型；应该用哪种模型；应用——皮肤检测、背景差分

6.复杂数据密度建模

正态分类模型、隐变量、期望最大化、混合高斯模型——混合高斯边缘化、基于期望最大化的混合模型拟合； t分布、学生t分布边缘化、拟合t分布的期望最大化；因子分析——因子分析的边缘分布、因子分析学习的期望最大化；组合模型；期望最大化算法的细节——期望最大化算法的下界、E步、M步；应用——人脸检测、目标识别、分割、正脸识别、改变人脸姿态（回归）、作为隐变量的变换

7.回归模型

线性回归——学习、线性回归模型的问题；贝叶斯线性回归——实际考虑、拟合方差；非线性回归——最大似然法、贝叶斯非线性回归；核与核技巧；高斯过程回归；稀疏线性回归；二元线性回归；相关向量回归；多变量数据回归；应用——人体姿势估计——位移专家

8.分类模型

逻辑回归——学习：最大似然估计、逻辑回归模型的问题；贝叶斯逻辑回归——学习； 推理；非线性逻辑回归； 对偶逻辑回归模型； 核逻辑回归；相关向量分类；增量拟合和boosting；分类树； 多分类逻辑回归；随机树、随机森林和随机蕨分类器；与非概率模型的联系；应用——性别分类、脸部和行人检测、语义分割、恢复表面布局、 人体部位识别

第三部分 连接局部模型

9.图模型

条件独立性；有向图模型；示无向图模型；有向图模型与无向图模型的对比；计算机视觉中的图模型；含有多个未知量的模型推理——求最大后验概率的解、求后验概率分布的边缘分布、最大化边缘、后验分布的采样；样本采样——有向图模型的采样、无向图模型的采样；学习——有向图模型的学习、无向图模型的学习

10.链式模型和树模型

链式模型——有向链式模型、无向链式模型、模型的等价性、隐马尔可夫模型在手语中的应用；链式MAP推理；树的MAP推理；链式边缘后验推理——求解边缘分布、前向后向算法、置信传播、链式模型的和积算法；树的边缘后验推理；链式模型和树模型的学习；链式模型和树模型之外的东西；应用——手势跟踪、立体视觉、形象化结构、分割

11. 网格模型

马尔可夫随机场——网格示例、离散成对MRF图像去噪、二值成对马尔可夫随机场的MAP推理——最大流/最小割、MAP推理：二值变量；多标签成对MRF的MAP推理； 非凸势的多标签MRF；条件随机场；高阶模型；网格有向模型；应用——背景差分、 交互式分割、立体视觉、图像重排、超分辨率、纹理合成、合成新面孔

第四部分预处理

12. 图像预处理与特征提取

逐像素变换——白化、直方图均衡化、线性滤波、局部二值模式、纹理基元映射；边缘、角点和兴趣点——Canny边缘检测器、Harris角点检测器、SIFT检测器；描述子、直方图、SIFT描述子、方向梯度直方图、词袋描述子、形状内容描述子；降维——单数值近似、主成分分析、二元主成分分析、K均值算法

第五部分 几何模型

13. 针孔摄像机

针孔摄像机简介——归一化摄像机、焦距参数、偏移量和偏移参数、摄像机的位置与方向、全针孔摄像机模型、径向畸变；三个几何问题、问题1：学习外在参数、问题2：学习内在参数、问题3：推理3D世界点、解决问题；齐次坐标；学习外在参数；学习内在参数；推理3D世界点； 应用——结构光的深度、剪影重构

14．变换模型

二维变换模型——欧氏变换模型、相似变换模型、仿射变换模型、投影变换模型、增加不确定性；变换模型中的学习——学习欧氏参数、学习相似参数、学习仿射参数、学习投影参数；变换模型中的推理、平面的三个几何问题——问题1：学习外在参数、问题2：学习内在参数、问题3：与摄像机相关的3D位置推理；图像间的变换——单应性的几何特征、计算图像间的变换；变换的鲁棒学习——RANSAC、 连续RANSAC、PEaRL；应用——增强现实追踪、视觉全景

15. 多摄像机系统

双视图几何学理论——极线约束、极点；实矩阵、实矩阵的属性、实矩阵的分解；基础矩阵、基础矩阵的估计、8点算法；双视图重构的流程； 校正——平面校正、极面校正、校正后处理；多视图重构；应用——三维重构、图片浏览、立体图割

第六部分 视觉模型

16. 形状模型

形状及其表示; snake模型——推理、snake模型中存在的问题；形状模板、推理、用迭代最近点算法进行推理；统计形状模型——学习、推理；子空间形状模型——概率主成分分析、学习、推理；三维形状模型；形状和外观的统计模型、学习、推理；非高斯统计形状模型、回归PPCA、高斯过程隐变量模型；铰接式模型；应用——三维形变模型、三维人体模型

17. 身份与方式模型

子空间身份模型——学习、推理、在其他识别任务中的推理、身份子空间模型的局限性；概率线性判别分析、学习、推理；非线性身份模型；非对称双线性模型、学习、推理；对称双线性和多线性模型、学习、推理、多线性模型；应用、人脸识别、纹理建模、动画合成

18. 时序模型

时序估计框架——推理、学习；卡尔曼滤波器——推理、改写测量合并阶段、推理总结、、滤波、时序和测量模型、卡尔曼滤波器的问题；扩展卡尔曼滤波器；无损卡尔曼滤波器、状态演化、测量合并过程；粒。

******************************************************************************

三、模式识别

1．导论

模式识别的重要性；特征、特征向量和分类器；有监督、无监督和半监督学习；MATLAB程序

2．基于贝叶斯决策理论的分类器

贝叶斯决策理论；判别函数和决策面； 正态分布的贝叶斯分类；未知概率密度函数的估计； 最近邻规则；贝叶斯网络

3．线性分类器

线性判别函数和决策超平面；感知器算法；最小二乘法；均方估计的回顾；逻辑识别；支持向量机

4．非线性分类器

异或问题、两层感知器、三层感知器、基于训练集准确分类的算法、反向传播算法、反向传播算法的改进、代价函数选择、神经网络大小的选择、仿真实例、具有权值共享的网络、线性分类器的推广、线性二分法中1维空间的容量、多项式分类器、径向基函数网络、通用逼近、概率神经元网络、支持向量机：非线性情况、超越SVM的范例、决策树、合并分类器、合并分类器的增强法、类的不平衡问题、

5．特征选择

预处理；峰值现象；基于统计假设检验的特征选择；接收机操作特性（ROC）曲线；类可分性测量；特征子集的选择；最优特征生成；神经网络和特征生成/选择；推广理论的提示；贝叶斯信息准则

6．特征生成I：线性变换

基本向量和图像；；Karhunen-Loève变换；奇异值分解；独立成分分析；非负矩阵因子分解；非线性维数降低；离散傅里叶变换（DFT）；离散正弦和余弦变换；Hadamard变换；Haar变换；回顾Haar展开式；离散时间小波变换（DTWT）；多分辨解释；小波包；二维推广简介

7．特征生成II

区域特征；字符形状和大小的特征；分形概述；语音和声音分类的典型特征

8．模板匹配

基于最优路径搜索技术的测度；基于相关的测度；可变形的模板模型；基于内容的信息检索：

9．上下文相关分类

贝叶斯分类器；马尔可夫链模型；Viterbi算法；信道均衡；隐马尔可夫模型；状态驻留的HMM；用神经网络训练马尔可夫模型；马尔可夫随机场的讨论

10．监督学习

误差计算方法；探讨有限数据集的大小；医学图像实例研究；半监督学习

11．聚类

近邻测度；顺序算法——聚类算法的种类、顺序聚类算法、BSAS的改进、两个阈值的顺序方法；改进阶段；神经网络的实现；层次算法；合并算法；cophenetic矩阵；分裂算法；用于大数据集的层次算法；最佳聚类数的选择

聚类算法III：基于函数最优方法——混合分解方法、模糊聚类算法、可能性聚类、硬聚类算法、向量量化；基于图论的聚类算法、竞争学习算法、二值形态聚类算法 、边界检测算法、谷点搜索聚类算法、通过代价最优聚类（回顾）、核聚类方法、对大数据集的基于密度算法、高维数据集的聚类算法、其他聚类算法、聚类组合

16．聚类有效性

假设检验回顾、聚类有效性中的假设检验、相关准则、单独聚类有效性、聚类趋势

***********************************************************

四、计算机图形

1. 计算机图形学综述

图和表、计算机辅助设计、虚拟现实环境、数据可视化、教学与培训、计算机艺术、娱乐、图像处理、图形用户界面、小结

2. 计算机图形硬件

视频显示设备——刷新式CRT、光栅扫描显示器、随机扫描显示器、彩色CRT监视器、平板显示器、三维观察设备、立体感和虚拟现实系统；光栅扫描系统（视频控制器、光栅扫描显示处理器；图形工作站和观察系统；输入设备（键盘、 按键盒和旋钮、鼠标设备、跟踪球和空间球、操纵杆、数据手套、数字化仪、图像扫描仪、触摸板、光笔、语音系统；硬拷贝设备；图形网络；因特网上的图形

3. 计算机图形软件

坐标表示；图形功能；软件标准；其他图形软件包；OpenGL简介——基本的OpenGL语法、相关库、头文件、使用GLUT进行显示窗口管理、一个完整的OpenGL程序、OpenGL的出错处理

4. 输出图元

坐标系统——屏幕坐标、绝对和相对坐标描述；OpenGL中指定二维世界坐标系统； OpenGL画点函数；OpenGL画线函数；OpenGL曲线函数；填充区图元；多边形填充区——多边形分类、识别凹多边形、分割凹多边形、将凸多边形分割成三角形集、内-外测试、 多边形表、平面方程、前向面与后向面、OpenGL多边形填充区函数、OpenGL顶点数组； 像素阵列图元；OpenGL像素阵列函数——OpenGL位图函数、OpenGL像素图函数、 OpenGL光栅操作、字符图元；OpenGL字符函数；图形分割；OpenGL显示表——创建和命名OpenGL显示表、执行OpenGL显示表、删除OpenGL显示表；OpenGL显示窗口重定形函数；

5. 图元的属性

OpenGL状态变量；颜色和灰度——RGB颜色分量、颜色表、灰度、其他颜色参数；OpenGL颜色函数——OpenGL的RGB和RGBA颜色模型、OpenGL 颜色索引模式、OpenGL颜色调、OpenGL颜色数组、其他OpenGL颜色函数；点的属性；OpenGL点属性函数；线的属性——线宽、线型、画笔或画刷的选择；OpenGL线属性函数——OpenGL线宽函数、OpenGL线型函数、其他OpenGL线效果；曲线属性；填充区属性——填充模式、颜色调和填充区域；OpenGL填充区属性函数——OpenGL填充图案函数、OpenGL纹理和插值图案、OpenGL线框图方法、OpenGL前向面函数；字符属性；OpenGL字符属性函数； OpenGL反走样函数；OpenGL询问函数；OpenGL属性组

6. 实现图元及属性的算法

画线算法——直线方程、DDA算法、Bresenham画线算法、显示折线；并行画线算法；帧缓存值的装载；圆生成算法——圆的特性、中点圆算法；椭圆生成算法——椭圆的特征、 中点椭圆算法；其他曲线——圆锥剖切线、多项式和样条曲线；并行曲线算法；像素编址和对象的几何要素——屏幕网格坐标、保持显示对象的几何特性；直线段和曲线属性的实现—— 线宽、线型、画笔或画刷的选项、曲线属性；通用扫描线填充算法；凸多边形的扫描线填充；曲线边界区域的扫描线填充；不规则边界区域的填充方法——边界填充算法、泛滥填充算法； 填充模式的实现方法——填充模式、颜色调和填充区域；反走样的实现方法——直线段的过取样、子像素的加权掩模、直线段的区域取样、过滤技术、像素移相、直线亮度差的校正、 区域边界的反走样

7. 二维几何变换

基本的二维几何变换——二维平移、二维旋转、二维缩放；矩阵表示和齐次坐标——齐次坐标、二维平移矩阵、二维旋转矩阵、二维缩放矩阵；逆变换；二维复合变换——复合二维平移、复合二维旋转、复合二维缩放、通用二维基准点旋转、通用二维基准点缩放、通用二维定向缩放、矩阵合并特性、通用二维复合变换和计算效率、二维刚体变换、构造二维旋转矩阵、二维复合矩阵编程例；其他二维变换——反射、错切；几何变换的光栅方法；OpenGL光栅变换；二维坐标系间的变换；OpenGL二维几何变换函数——基本的OpenGL几何变换、OpenGL矩阵操作；OpenGL几何变换编程示例；

8. 二维观察

二维观察流水线、裁剪窗口——观察坐标系裁剪窗口、世界坐标系裁剪窗口；规范化和视口变换——裁剪窗口到规范化视口的映射、裁剪窗口到规范化正方形的映射、字符串的显示、 分画面效果和多输出设备；OpenGL二维观察函数——OpenGL投影模式、GLU裁剪窗口函数、OpenGL视口函数、建立GLUT显示窗口、设定GLUT显示窗口的模式和颜色、GLUT显示窗口标识、删除GLUT显示窗口、当前GLUT显示窗口、修改GLUT显示窗口的位置和大小、管理多个GLUT显示窗口、GLUT子窗口、显示窗口屏幕光标形状的选择、在GLUT显示窗口中观察图形对象、执行应用程序、其他GLUT函数、OpenGL的二维观察程序例； 裁剪算法；二维点裁剪；二维线裁剪——Cohen-Sutherland线段裁剪算法、梁友栋-Barsky线段裁剪算法 、Nicholl-Lee-Nicholl线段裁剪算法、非矩形多边形裁剪窗口的线段裁剪、非线性裁剪窗口边界的线裁剪；多边形填充区裁剪——Sutherland-Hodgman多边形裁剪、 Weiler-Atherton多边形裁剪、非矩形的多边形窗口的多边形裁剪、非线性裁剪窗口边界的多边形裁剪；曲线的裁剪；文字的裁剪

9. 三维几何变换

三维平移；三维旋转——三维坐标轴旋转、一般三维旋转、三维旋转的四元数方法；三维缩放；三维复合变换；其他三维变换——三维反射、三维错切；三维坐标系间的变换；仿射变换；OpenGL几何变换函数——OpenGL矩阵栈、OpenGL几何变换编程例

10. 三维观察

三维观察概念综述——三维场景观察、投影、深度提示、可见线和可见面的判定、面绘制、 拆散和剖切面视图、三维和立体视图；三维观察流水线、三维观察坐标系参数——观察平面法向量、观察向上向量、uvn观察坐标系、生成三维观察效果；世界坐标系到观察坐标系的变换、投影变换、正投影——轴测和等轴测正投影、正投影坐标系、裁剪窗口和正投影观察体、正投影的规范化变换；斜投影——绘图和设计中的斜平行投影、斜等测和斜二测斜平行投影、斜平行投影向量、裁剪窗口和斜平行投影观察体、斜平行投影变换矩阵、斜平行投影的规范化变换；透视投影——透视投影变换坐标系、透视投影公式： 特殊情况、透视投影的灭点、透视投影观察体、透视投影变换矩阵、对称的透视投影锥体、斜透视投影棱台、规范化透视投影变换坐标；视口变换和三维屏幕坐标系；OpenGL三维观察函数——OpenGL观察变换函数、OpenGL正交投影函数、OpenGL对称透视投影棱台、OpenGL通用透视投影函数、OpenGL视口和显示窗口、OpenGL三维观察程序示例；三维裁剪算法——三维齐次坐标系中的裁剪、三维区域码、三维点和线的裁剪、三维多边形裁剪、三维曲面裁剪、

任意裁剪平面、OpenGL任选裁剪平面

11. 层次建模

基本建模概念——系统表示、符号层次；建模软件包；通用层次建模方法——局部坐标、建模变换、创建层次结构；使用OpenGL显示列表的层次建模

12. 计算机动画

计算机动画的光栅方法——双缓存、用光栅操作生成动画；动画序列的设计；传统动画技术；通用计算机动画功能；计算机动画语言；关键帧系统——变形、模拟加速度；运动的描述——直接运动描述、目标导向系统、运动学和动力学；角色动画——关节链形体动画、运动捕捉；周期性运动；OpenGL动画子程序

13. 三维对象的表示

多面体；OpenGL多面体函数——OpenGL多边形填充函数、GLUT规则多面体函数、GLUT多面体程序示；曲面；二次曲面——球面、椭球面、环面；超二次曲面——超椭圆、超椭球面；OpenGL二次曲面和三次曲面函数—— GLUT二次曲面函数、 OpenGL三次曲面茶壶函数、 GLU二次曲面函数、使用GLUT和GLU二次曲面函数的程序示例

14. 样条表示

插值和逼近样条；参数连续性条件；几何连续性条件；样条描述；样条曲面；修剪样条曲面 ；三次样条插值方法——自然三次样条、Hermite插值、Cardinal样条、Kochanek?Bartels样条；Bézier样条曲线——Bézier曲线公式、Bézier曲线生成程序示例、Bézier曲线的特性、使用Bézier曲线的设计技术、三次Bézier曲线；Bézier曲面； B样条曲线—— B样条曲线公式、 均匀周期性B样条曲线 、三次周期性B样条曲线、开放均匀的B样条曲线

、非均匀B样条曲线；B样条曲面；Beta样条—— Beta样条连续性条件、三次周期性Beta样条曲线的矩阵表示；有理样条；样条表示之间的转换；样条曲线和曲面的显示—— Horner规则、向前差分计算、细分方法；OpenGL的逼近样条函数——OpenGL的Bézier样条曲线函数、OpenGL的Bézier样条曲面函数、 GLU的B样条曲线函数、GLU的B样条曲面函数、GLU曲面修剪函数；

15. 其他三维对象的表示

柔性对象；扫描表示法；结构实体几何法；八叉树；BSP树；基于物理的方法

16. 可见面判别算法

可见面判别算法的分类；后向面判别；深度缓存算法；A缓存算法；扫描线算法；深度排序算法；BSP树算法；区域细分算法；八叉树算法；光线投射算法；可见性检测算法的比较；

曲面——曲面表示、曲面的层位线显示；线框图可见性算法——线框面可见性算法、线框图深度提示算法；OpenGL可见性检查函数——OpenGL多边形剔除函数、OpenGL深度缓存函数、OpenGL线框面可见性方法、OpenGL深度提示函数

17. 光照模型与面绘制算法

光源——点光源、穷远光源、辐射强度衰减、方向光源和投射效果、角强度衰减、扩展光源和Warn模型；表面光照效果；基本光照模型——环境光、漫反射、镜面反射和Phong模型、漫反射和镜面反射的合并、多光源的漫反射和镜面反射、表面的光发射、考虑强度衰减和高光的基本光照模型、RGB颜色考虑、其他颜色表示、亮度；透明表面——半透明材料、

光折射、基本的透明模型；雾气效果；阴影；照相机参数；光强度显示——分配系统强度等级、gamma校正与视频查找表、显示连续色调的图像；半色调模式和抖动技术——半色调近似、抖动技术；多边形绘制算法——恒定强度的明暗处理、Gouraud明暗处理、Phong明暗处理、快速Phong明暗处理、OpenGL光照和表面绘制函数 ——OpenGL点光源函数

、指定一个OpenGL光源位置和类型、指定OpenGL光源颜色、指定OpenGL光源的辐射强度衰减系数、OpenGL方向光源(投射光源)、OpenGL全局光照参数、OpenGL表面特性函数、OpenGL光照模型、OpenGL雾气效果、OpenGL透明性函数、OpenGL表面绘制函数、OpenGL半色调操作

18. 纹理与表面细节添加方法

用多边形模拟表面细节、纹理映射——线性纹理图案、表面纹理图案、体纹理图案、纹理缩减图案、过程式纹理映射方法；凹凸映射；帧映射；OpenGL纹理函数——线纹理函数、表面纹理函数、体纹理函数、纹理图案的颜色选项、纹理映射选项、纹理环绕、复制帧缓存中的OpenGL纹理图案、OpenGL纹理坐标数组、OpenGL纹理图案命名、OpenGL纹理子图案、OpenGL纹理缩减图案、OpenGL纹理边界、 OpenGL代理纹理、 二次曲面的自动纹理映射、齐次纹理坐标、 其他的OpenGL纹理选项

19. 颜色模型和颜色应用

光的特性——电磁频谱、颜色的心理学特征；颜色模型——基色、直观的颜色概念；标准基色和色度图——XYZ颜色模型、规范化的XYZ值、CIE色度图、颜色范围、互补色、主波长、纯度；RGB颜色模型；YIQ颜色模型——YIQ参数、RGB颜色空间和YIQ颜色空间之间的转换、YUV和YCrCb系统；CMY和CMYK颜色模型——CMY参、CMY颜色空间和RGB颜色空间之间的转换；HSV颜色模型——HSV参数、选择明暗、 色泽和色调、HSV和RGB模型之间的转换；HLS颜色模型；颜色选择及其应用

20. 图形用户界面和交互输入方法

图形数据的输入；输入设备的逻辑分类； 图形数据的输入功能 ；交互式构图技术；虚拟现实环境；OpenGL支持交互式输入设备的函数 ；OpenGL的菜单功能； 图形用户界面的设计

21. 全局光照

光线跟踪方法；辐射度光照模型；环境映射；光子映射

22. 可编程着色器

着色语言的发展历史——Cook着色树、 Perlin像素流编辑器、RenderMan；OpenGL渲染流水线、固定功能流水线、改变流水线结构、顶点着色器、片元着色器、几何着色器、曲面细分着色器；OpenGL着色语言、着色器结构、在OpenGL中使用着色器、基本数据类型、矢量、矩阵、结构和数组、控制结构、GLSL函数、与OpenGL的通信；着色器效果

、一个Phong着色器、纹理映射、 凹凸映射

23. 基于算法的建模

分形几何方法、分形生成过程、分形分类、分形的维数、确定性自相似分形几何构造、统计自相似分形的几何构造、仿射分形构造方法、随机中点位移方法、地面图控制、自平方分形

、自逆分形；粒子系统；形状语法和其他过程方法

24. 数据集可视化

标量场的可视化表示；向量场的可视表示；张量场的可视表示；多变量数据场的可视表示

************************************************************************

五、知识图谱

1．知识图谱概述

什么是知识图谱；知识图谱的发展历史 ；知识图谱的价值；国内外典型的知识图谱项目——早期的知识库项目、互联网时代的知识图谱、中文开放知识图谱、垂直领域知识图谱、知识图谱的技术流程、知识图谱的相关技术、知识图谱与数据库系统、知识图谱与智能问答、知识图谱与机器推理、知识图谱与推荐系统、区块链与去中心化的知识图谱

2．知识图谱表示与建模

什么是知识表示；人工智能早期的知识表示方法——一阶谓词逻辑、霍恩子句和霍恩逻辑 、语义网络、框架、描述逻辑；互联网时代的语义网知识表示框架——RDF和RDFS、 OWL和OWL2 Fragments、知识图谱查询语言的表示、语义Markup表示语言 ；常见开放域知识图谱的知识表示方法——Freebase、Wikidata、ConceptNet5；知识图谱的向量表示方法 ——知识图谱表示的挑战、词的向量表示方法、知识图谱嵌入的概念、知识图谱嵌入的优点 、知识图谱嵌入的主要方法、知识图谱嵌入的应用；开源工具实践：基于Protégé的本体知识建模——简介、环境准备、Protégé实践主要功能演示

3．知识存储

知识图谱数据库基本知识——知识图谱数据模型 、知识图谱查询语言；常见知识图谱存储方法——基于关系数据库的存储方案、面向RDF的三元组数据库、原生图数据库、知识图谱数据库比较；知识存储关键技术——知识图谱数据库的存储：以Neo4j为例、知识图谱数据库的索引；开源工具实践——三元组数据库Apache Jena、面向RDF的三元组数据库gStore

4．知识抽取与知识挖掘

知识抽取任务及相关竞赛——知识抽取任务定义、知识抽取相关竞赛；面向非结构化数据的知识抽取——实体抽取、关系抽取、事件抽取；面向结构化数据的知识抽取——直接映射 、R2RML、相关工具；面向半结构化数据的知识抽取 、面向百科类数据的知识抽取、面向Web网页的知识抽取；知识挖掘——知识内容挖掘：实体链接、知识结构挖掘：规则挖掘；开源工具实践：基于DeepDive的关系抽取实践——开源工具的技术架构、其他类似工具

5．知识图谱融合

什么是知识图谱融合；知识图谱中的异构问题——语言层不匹配、模型层不匹配；本体概念层的融合方法与技术——本体映射与本体集成、本体映射分类、本体映射方法和工具、本体映射管理、本体映射应用；实例层的融合与匹配——知识图谱中的实例匹配问题分析、基于快速相似度计算的实例匹配方法、基于规则的实例匹配方法、基于分治的实例匹配方法、基于学习的实例匹配方法、实例匹配中的分布式并行处理 ；开源工具实践：实体关系发现框架LIMES——简介、开源工具的技术架构、其他类似工具

6．知识图谱推理

推理概述——什么是推理、面向知识图谱的推理；基于演绎的知识图谱推理——本体推理 、基于逻辑编程的推理方法、基于查询重写的方法、基于产生式规则的方法；基于归纳的知识图谱推理——基于图结构的推理、基于规则学习的推理、基于表示学习的推理；知识图谱推理新进展——时序预测推理、基于强化学习的知识图谱推理、基于元学习的少样本知识图谱推理、图神经网络与知识图谱推理；开源工具实践：基于Jena和Drools的知识推理实践——开源工具简介、开源工具的技术架构、开发软件版本及其下载地址、基于Jena的知识推理实践、基于Drools的知识推理实践

7．语义搜索

语义搜索简介、结构化的查询语言——数据查询 、数据插入、数据删除；语义数据搜索；语义搜索的交互范式——基于关键词的知识图谱语义搜索方法、基于分面的知识图谱语义搜索、基于表示学习的知识图谱语义搜索；开源工具实践——功能介绍、环境搭建及数据准备 、数据准备、导入Elasticsearch、功能实现、执行查询

8．知识问答

知识问答概述——知识问答的基本要素、知识问答的相关工作、知识问答应用场景；知识问答的分类体系、问题类型与答案类型、知识库类型、智能体类型；知识问答系统——NLIDB：早期的问答系统、IRQA：基于信息检索的问答系统、KBQA：基于知识库的问答系统、CommunityQA/FAQ-QA：基于问答对匹配的问答系统、Hybrid QA Framework 混合问答系统框架；知识问答的评价方法、问答系统的评价指标、问答系统的评价数据集；KBQA前沿技术——KBQA面临的挑战、基于模板的方法、基于语义解析的方法、基于深度学习的传统问答模块优化、基于深度学习的端到端问答模型 ；开源工具实践 ——使用Elasticsearch搭建简单知识问答系统、基于gAnswer构建中英文知识问答系统

9．知识图谱应用案例

领域知识图谱构建的技术流程——领域知识建模、知识存储、知识抽取、知识融合、知识计算、知识应用；领域知识图谱构建的基本方法——自顶向下的构建方法、自底向上的构建方法；领域知识图谱的应用案例——电商知识图谱的构建与应用、图情知识图谱的构建与应用 、生活娱乐知识图谱的构建与应用：以美团为例、企业商业知识图谱的构建与应用、创投知识图谱的构建与应用、中医临床领域知识图谱的构建与应用、金融证券行业知识图谱应用实践

***************************************************************************

六、数据科学

1．导论

数据科学的发展历史；数据科学研究的主要问题；数据科学的主要方法；R语言的优势 7

2．数据

数据对象与属性类型——什么是属性、标称属性、二元属性、序数属性、数值属性、离散属性与连续属性；数据的基本统计描述、中心趋势度量：均值、中位数和众数、度量数据散布：极差——四分位数、方差、标准差和四分位数极差、数据的基本统计描述的图形显示

数据的读入——直接输入数据、读入R包中的数据、从外部文件读入数据、批量读入数据、R语言读取文件的几个常错的问题；写出数据；

3．数据挖掘

数据库数据、数据仓库、事务数据；可以挖掘什么类型的模式——类/概念描述：特征化与区分、挖掘频繁模式、关联和相关性、用于预测分析的分类与回归、聚类分析、离群点分析、所有模式都是有趣的吗；使用什么技术——统计学、机器学习、数据库系统与数据仓库、信息检索；面向什么类型的应用——商务智能、Web搜索引擎；数据挖掘的主要问题——挖掘方法、用户界面、有效性和可伸缩性、数据库类型的多样性、数据挖掘与社会

3．数据清洗与预处理

数据分类；数据清洗——处理缺失数据、处理噪声数据；数据变换；R语言实现——数据集的基本操作、数据集间的操作、连接数据库数据；；数据质量：为什么要对数据预处理、数据预处理的主要任务；数据清理——缺失值、噪声数据；数据集成——实体识别问题、冗余和相关分析、元组重复、数据值冲突的检测与处理；数据归约——数据归约策略概述、小波变换、主成分分析、属性子集选择、回归和对数线性模型：参数化数据归约、直方图、聚类、抽样、数据立方体聚集；数据变换与数据离散化——数据变换策略概述、通过规范化变换数据、通过分箱离散化、通过直方图分析离散化、通过聚类、决策树和相关分析离散化、标称数据的概念分层产生

4．数据仓库与联机分析处理

数据仓库：基本概念——什么是数据仓库、操作数据库系统与数据仓库的区别、为什么需要分离的数据仓库、数据仓库：一种多层体系结构、数据仓库模型：企业仓库、数据集市和虚拟仓库、数据提取、变换和装入、元数据库；数据仓库建模：数据立方体与OLAP——数据立方体：一种多维数据模型、星形、雪花形和事实星座：多维数据模型的模式、维：概念分层的作用、度量的分类和计算、典型的OLAP操作、查询多维数据库的星网查询模型；数据仓库的设计与使用——数据仓库的设计的商务分析框架、数据仓库的设计过程、数据仓库用于信息处理、从联机分析处理到多维数据挖掘；数据仓库的实现——数据立方体的有效计算：概述、索引OLAP数据：位图索引和连接索引、OLAP查询的有效处理、OLAP服务器结构：ROLAP、MOLAP、HOLAP的比较；数据泛化：面向属性的归纳——数据特征的面向属性的归纳、面向属性归纳的有效实现、类比较的面向属性归纳

4．数据可视化

基于像素的可视化技术、几何投影可视化技术、基于图符的可视化技术、层次可视化技术、可视化复杂对象和关系；度量数据的相似性和相异性、数据矩阵与相异性矩阵、标称属性的邻近性度量、二元属性的邻近性度量、数值属性的相异性：闵可夫斯基距离、序数属性的邻近性度量、混合类型属性的相异性、余弦相似性；高阶绘图工具ggplot2、快速绘图、使用图层构建图像、分面；ECharts2

5．数据立方体技术

数据立方体计算：基本概念——立方体物化：完全立方体、冰山立方体、闭立方体和立方体外壳、数据立方体计算的一般策略；数据立方体计算方法——完全立方体计算的多路数组聚集、BUC：从顶点方体向下计算冰山立方体、Star-Cubing：使用动态星树结构计算冰山立方体、为快速高维OLAP预计算壳片段；使用探索立方体技术处理高级查询——抽样立方体：样本数据上基于OLAP的挖掘、排序立方体：top-k查询的有效计算；数据立方体空间的多维数据分析、预测立方体：立方体空间的预测挖掘、多特征立方体：多粒度上的复杂聚集、基于异常的、发现驱动的立方体空间探查

6．挖掘频繁模式、关联和相关性：基本概念和方法

基本概念、购物篮分析：一个诱发例子、频繁项集、闭项集和关联规则；频繁项集挖掘方法——Apriori算法：通过限制候选产生发现频繁项集、由频繁项集产生关联规则、提高Apriori算法的效率、挖掘频繁项集的模式增长方法、使用垂直数据格式挖掘频繁项集、挖掘闭模式和极大模式；哪些模式是有趣的：模式评估方法——强规则不一定是有趣的、从关联分析到相关分析、模式评估度量比较

7．高级模式挖掘

模式挖掘：一个路线图——多层、多维空间中的模式挖掘、挖掘多层关联规则、挖掘多维关联规则、挖掘量化关联规则、挖掘稀有模式和负模式、基于约束的频繁模式挖掘、关联规则的元规则制导挖掘、基于约束的模式产生：模式空间剪枝和数据空间剪枝、挖掘高维数据和巨型模式；挖掘压缩或近似模式、通过模式聚类挖掘压缩模式、提取感知冗余的top-k模式；

模式探索与应用——频繁模式的语义注解、模式挖掘的应用

5．线性回归

问题的提出；一元线性回归——一元线性回归概述、一元线性回归的参数估计、一元线性回归模型的检验、一元线性回归的预测；多元线性回归分析——多元线性回归模型及假定、参数估计、模型检验、预测；R语言实现 、一元线性回归、多元线性回归

6．线性分类

什么是分类、分类的一般方法；决策树归纳——决策树归纳、属性选择度量、树剪枝、可伸缩性与决策树归纳、决策树归纳的可视化挖掘；贝叶斯分类方法——贝叶斯定理、朴素贝叶斯分类；基于规则的分类——使用IF-THEN规则分类、由决策树提取规则、使用顺序覆盖算法的规则归纳；模型评估与选择——评估分类器性能的度量、保持方法和随机二次抽样、交叉验证、自助法、使用统计显著性检验选择模型、基于成本效益和ROC曲线比较分类器；提高分类准确率的技术——组合分类方法简介、装袋、提升和AdaBoost、随机森林、提高类不平衡数据的分类准确率；Logistic模型——线性概率模型、Probit模型、 Logit模型原理、边际效应分析 、最大似然估计（MLE）、似然比检验 ；判别分析——Naive Bayes判别分析、线性判别分析、二次判别分析；分类问题评价准则；R语言实现——描述统计、Logistic模型、判别分析、模型比较

7．高级分类

　分类：高级方法；贝叶斯信念网络——概念和机制、训练贝叶斯信念网络；用后向传播分类——多层前馈神经网络、定义网络拓扑、后向传播、黑盒内部：后向传播和可解释性；支持向量机、数据线性可分的情况、数据非线性可分的情况；使用频繁模式分类——关联分类、基于有区别力的频繁模式分类；惰性学习法(或从近邻学习）、k-最近邻分类、基于案例的推理；其他分类方法——遗传算法、粗糙集方法、模糊集方法；关于分类的其他问题——多类分类、半监督分类、主动学习、迁移学习

7．重抽样

基本概念——训练误差和测试误差、偏差和方差；交叉验证法——验证集方法 、留一交叉验证法、 K折交叉验证法；自助法；R语言实现——验证集方法、留一交叉验证法、K折交叉验证法、自助法

8．模型选择与正则化

子集选择法——最优子集法、逐步选择法、模型选择；基于压缩估计的逐个变量选择、LASSO惩罚、 SCAD惩罚、MCP惩罚 、调整参数选择；基于压缩估计的组变量选择 ——自然分组结构、人为分组结构；基于压缩估计的双层变量选择——复合函数型双层选择、稀疏组惩罚型双层选择、R语言实现——子集选择法、模型选择、组模型选择、双层模型选择

9．决策树与组合学习

决策树——基本概念、分类树、回归树、树的优缺点；Bagging——基本算法、袋外误差估计、变量重要性的度量；随机森林；提升法—— Adaboost算法、GBDT算法、XGBoost算法；R语言实现——数据介绍、描述性统计、分类树、Bagging 、随机森林、Boosting

10．支持向量机

最大间隔分类器——使用分割超平面分类、构建最大间隔分类器、线性不可分的情况；支持向量分类器、使用软间隔分类、构建支持向量分类器；支持向量机 ——使用非线性决策边界分类、构建支持向量机；与Logistic回归的关系；支持向量回归；R语言实现——支持向量分类器 、支持向量机、Auto数据集

11．神经网络

神经网络的基本概念——神经网络的基本单元、神经网络的结构、神经网络的学习；神经网络模型——单神经元感知器、单层感知器、BP神经网络、Rprop神经网络；R语言实现——nnet程序包、neuralnet程序包、应用案例1：利用nnet程序包分析纸币鉴别数据、应用案例2：利用neuralnet程序包分析白葡萄酒的品质

12．无监督学习

聚类分析——什么是聚类分析、对聚类分析的要求、基本聚类方法概述；划分方法——k-均值：一种基于形心的技术、k-中心点：一种基于代表对象的技术；层次方法——凝聚的与分裂的层次聚类、算法方法的距离度量、BIRCH：使用聚类特征树的多阶段聚类、Chameleon：使用动态建模的多阶段层次聚类、概率层次聚类；基于密度的方法——DBSCAN：一种基于高密度连通区域的基于密度的聚类、OPTICS：通过点排序识别聚类结构、DENCLUE：基于密度分布函数的聚类；基于网格的方法——STING：统计信息网格、CLIQUE：一种类似于Apriori的子空间聚类方法；聚类评估——估计聚类趋势、确定簇数、测定聚类质量；基于概率模型的聚类——模糊簇、基于概率模型的聚类、期望最大化算法；聚类高维数据——聚类高维数据：问题、挑战和主要方法、子空间聚类方法、双聚类、维归约方法和谱聚类；聚类图和网络数据——应用与挑战、相似性度量、图聚类方法；具有约束的聚类——约束的分类、具有约束的聚类方法 聚类分析——相异度、K-means聚类、系统聚类法；主成分分析——主成分分析的几何意义、主成分的数学推导、主成分回归、主成分分析的其他方面；因子分析、因子分析的数学模型、因子载荷阵的统计意义、因子分析的其他方面；典型相关分析——典型相关分析原理、典型相关系数的显著性检验、典型相关分析的步骤；R语言实现——聚类分析：移动通信用户细分、主成分分析：农村居民消费水平评价、因子分析：市场调查、典型相关分析：职业满意度与职业特性的关系；推荐算法——关联规则 、基本概念、基本分类、基本方法；协同过滤算法——基于邻居的协同过滤算法、基于模型的协同过滤算法；R语言实现 ——关联规则、协同过滤算法

14．文本挖掘

文本挖掘基本流程——文本数据获取、文本特征表示、文本的特征选择、信息挖掘与主题模型；R语言实现、JSS_papers数据集、拓展案例：房地产网络舆情分析

15．社交网络分析

网络的基本概念；网络特征的描述性分析——节点度 、节点中心性、网络的凝聚性特征、分割；网络图的统计模型 ——经典随机图模型、广义随机图模型、指数随机图模型、网络块模型；关联网络推断 ——相关网络、偏相关网络、高斯图模型网络、Graphic Lasso模型；二值型网络模型；R语言实现、网络的基本操作、“豆瓣关注网络”和“豆瓣朋友网络”特征分析、关联网络推断

16．并行计算

提高R语言的计算速度、R语言的并行计算、HPC多线程并行计算

12．离群点检测

离群点和离群点分析——什么是离群点、离群点的类型、离群点检测的挑战；离群点检测方法——监督、半监督和无监督方法、统计方法、基于邻近性的方法和基于聚类的方法；统计学方法——参数方法、非参数方法；基于邻近性的方法——基于距离的离群点检测和嵌套循环方法——基于网格的方法、基于密度的离群点检测；基于聚类的方法；基于分类的方法；挖掘情境离群点和集体离群点——把情境离群点检测转换成传统的离群点检测、关于情境对正常行为建模、挖掘集体离群点；高维数据中的离群点检测——扩充的传统离群点检测、发现子空间中的离群点、高维离群点建模

13．数据挖掘的发展趋势和研究前沿

挖掘复杂的数据类型——挖掘序列数据：时间序列、符号序列和生物学序列、挖掘图和网络、挖掘其他类型的数据；数据挖掘的其他方法——统计学数据挖掘、关于数据挖掘基础的观点、可视和听觉数据挖掘；数据挖掘应用——金融数据分析的数据挖掘、零售和电信业的数据挖掘、科学与工程数据挖掘、入侵检测和预防数据挖掘、数据挖掘与推荐系统；数据挖掘与社会——普适的和无形的数据挖掘、数据挖掘的隐私、安全和社会影响；数据挖掘的发展趋势

******************************************************************************

七、数据可视化

1．数据可视化简介

可视化释义；可视化简史；数据可视化详解——数据科学的发展、数据可视化的意义、数据可视化分类、数据可视化与其他学科领域的关系；数据可视化研究挑战

2．视觉感知与认知

视觉感知和认知；视觉感知和认知的定义、视觉感知处理过程、格式塔理论、相关实验；颜色——颜色刺激理论、色彩空间；视觉编码原则——相对判断和视觉假象、标记和视觉通道 、视觉通道的概念、视觉通道的特性

3．数据

数据基础——数据分类、数据集 、数据相似度与密度；数据获取、清洗和预处理——数据获取 、数据清洗、数据精简、其他常用的数据预处理步骤；数据组织与管理——数据整合与集成、数据库与数据仓库；数据分析与挖掘、探索式数据分析、联机分析处理、数据挖掘 ；数据科学与可视化、数据工作流、可视数据挖掘；数据科学的挑战

4．数据可视化基础

数据可视化基本框架­——数据可视化流程、数据可视化设计；可视化中的数据——数据认知 、数据类型；可视化的基本图表——原始数据绘图、简单统计值标绘、多视图协调关联；可视化设计原则——数据到可视化的直观映射、视图选择与交互设计、信息密度――数据的筛选 、美学因素、动画与过渡、可视化隐喻、颜色与透明度；可视化理论发展——图形符号学、关系数据的图形表示、图形语法、基于数据类型的研究、基于数据状态模型的研究、多维关系数据库可视化分析系统

时空数据篇

5．空间标量场可视化

一维标量场可视化；二维标量场可视化——颜色映射、等值线、高度图 ；三维标量场数据可视化——空间数据表达、空间数据特征计算、间接体绘制、规则三维标量场的直接体可视化、不规则体数据的体可视化

6．大规模多变量空间数据场可视化

大规模空间标量场数据的实时可视化——大规模空间标量场数据的单机绘制、大规模空间标量场数据的并行绘制 、时变空间标量场数据加速绘制方法；时变异构空间数据场的特征追踪与可视化——时变空间标量场数据的特征提取、异构数据的特征融合、时变空间标量场数据的特征追踪；空间向量场数据可视化、图标法、几何法、纹理法、拓扑法；空间张量场数据可视化——张量场的数学描述 、基于几何的方法、基于纹理的方法、基于拓扑的方法、高阶张量场可视化；多变量空间数据场可视化——多变量空间数据场的特征表达与关联分析 、多变量空间数据场的可视化与交互

7．时变数据可视化

时间属性的可视化——线性和周期时间可视化、日历时间可视化、分支和多角度时间可视化 、时间属性的动态可视化；多变量时变型数据可视化——基于线表示的可视化、基于图结构的可视化、时间序列数据的可视化交互；流数据可视化——流数据可视化模型、流数据处理技术、流数据可视化案例、并行流计算框架

非时空数据篇

8．层次和网络数据可视化

层次数据——层次数据的可视化、节点- 链接法、空间填充法、其他方法；网络数据——网络和图、网络数据可视化、网络数据的地图隐喻可视化、超图及其可视化、动态网络数据可视化、图可视化的视觉效果 、图可视化中的交互、网络数据可视化的挑战

9．文本和文档可视化

文本可视化释义——文本信息的层级、文本可视化的研究内容与任务、文本可视化流程；文本信息分析基础——分词技术和词干提取、数据模型；文本内容可视化——基于关键词的文本内容可视化、时序性的文本内容可视化、文本特征的分布模式可视化、文档信息检索可视化 、软件可视化；文本关系可视化——文档相似性可视化、文本内容关联可视化、文档集合关系可视化；文件情感分析可视化——顾客评价可视化、情感变化可视化、情感差异可视化

10．跨媒体数据可视化

图像——图像网格、基于时空采样的图像集可视化、基于相似性的图像集可视化、基于海塞图的社交图像可视化、基于故事线的社交图像可视化；视频——视频摘要、视频抽象；声音与音乐——声乐波形可视化、声乐结构的可视化；超媒体——社交媒体可视化、社交网络可视化；数字生活可视化

11．复杂高维多元数据的可视化

高维多元数据——空间映射法、图标法、基于像素图的方法、基于动画的方法；非结构化与异构数据的可视化——非结构化数据、异构数据；大尺度数据的可视化——基于并行的大尺度数据高分辨率可视化、大尺度数据的分而治之可视化与分析；数据不确定性的可视化——不确定性的基本定义、不确定性的来源、不确定性的可视化方法

用 户 篇

12．可视化中的交互

交互准则——交互延时、交互成本 、交互场景变化；交互分类——按低阶交互操作分类、按交互操作符与空间分类、按交互任务分类；交互技术——选择、导航、重配、编码、抽象/ 具象、过滤、关联、概览+ 细节、焦点+ 上下文；交互与硬件设备——交互环境、交互设备

13．可视化效果评测与用户实验

评测流程；评测方法——用户实验、专家评估、案例研究、指标评估、众包、标注；用户实验——确定实验目标、准备实验、进行实验、分析结果并讨论、评测案例分析

14．面向领域的数据可视化

高性能科学计算——高性能科学可视化的挑战、重要信息的提取和显示、原位可视化、未来挑战；生命科学——临床医学影像、其他影像、电生理信号、OMICS 组学、深度学习；其他科学与艺术——气候学与气象中的可视化、面向艺术的表意性可视化；网络与系统安全的可视化——基于可视变换的虫洞攻击可视化、可信计算的可视化、安全日志数据的可视化 、智能电网数据的可视化；商业智能可视化——商业智能、商业智能中的数据可视化、云端商业智能、未来趋势；金融数据可视化——金融数据来源、金融数据分析的自动化方法、金融数据可视化方法、金融数据可视分析

15．可视化研究与开发资源

可视化软件——医学可视化软件、科学可视化软件、信息可视化软件、可视分析软件；可视化开发工具——应用程序开发工具、Web 应用开发工具；数据分析和数据挖掘软件与开发工具；可视化数据集资源 ；可视化信息资源；海外可视化研究机构

*************************************************************************

参考资料：

1. 《计算机视觉：算法与应用 [Computer Vision：Algorithms and Applications]》，Richard，Szeliski，艾海舟 著，艾海舟，兴军亮 等译

2. 《视觉计算基础：计算机视觉、图形学和图像处理的核心概念》 [美] 阿娣提·玛珠德（Aditi Majumder） 著

3. 《计算机视觉：模型、学习和推理 [Computer Vision Models，Learning，and Inference]》 [英] 西蒙，J.D.，普林斯 著，苗启广，刘凯，孔韦韦 等 译

4. 计算机视觉――一种现代方法（第二版）[美] David，A.，Forsyth（D.，A.，福赛斯） … 著，高永强 等译

5. 《计算机视觉》，刘绍辉，姜峰 著

6. 《OpenCV 4计算机视觉项目实战（原书第2版）》，[西班牙] 大卫·米兰·埃斯克里瓦（David，Millán，Escrivá） 著，冀臻 译

7. 《图像处理、分析与机器视觉·第4版》Milan Sonka，Vaclav Hlavac，Roger Boyle 著

8. 《图像处理、分析与机器视觉》，杨高科编著

9. 《计算机图形学（第4版）》 [Computer Graphics with OpenGL, Fourth Edition]Donald Hearn（D·赫恩） 等，M.Pauline Baker（M.P.巴克），Warren，R.Carithers（W.R.卡里瑟斯） 著，蔡士杰，杨若瑜 译

10. 《图像工程（第4版）》,章毓晋 著

11. 《计算机视觉八大任务全概述：PaddlePaddle工程师详解热门视觉模型》量子位

12. 《知识图谱：方法、实践与应用》, 王昊奋，漆桂林，陈华钧 编

13. 《数据可视化（第2版）》陈为 等 著

14. 《数据挖掘 概念与技术（第3版）》，[美] Jiawei Han，[美] Micheling Kamber，[美] Jian Pei 等 著，范明，孟小峰 译

15. 《数据科学》方匡南 著

************************************************************************