图像处理简介，为实现FPGA图像处理的运用
—————————————————————————————————————
1 数字图像处理简介
1.1 图像处理概念
- 图像采样
- 图像采样和量化：把连续的感知数据转换为数字形式，这个转换的过程被称为图像采样和量化。
- 采样频率越高，得到的图像质量越高。
- Nyquist定理：图像的采样频率必须大于或等于源图像最高频率分量的2倍。
- 图像量化
- 图像采样之后每一个点要使用多大范围的数值。
- 若4位存储一个点，表示图像有16种颜色（2^4）。
- 量化位数越大，表示图像可以拥有更多的颜色。
- 8位：灰度图像，包含亮度信息。
- 24位：真彩图像，包括RGB3通道。
- 32位：在RGB基础上还包含了Alpha通道，用来表示图像的透明度。
- 红外图像处理中，通常用14位。
- 经过采样和量化之后，得到二维阵列f(x,y)，x∈[0,M-1],y∈[0,N-1]，M为图像宽度，N为图像高度。
- 图像处理常用方法
- 图像变换：空间域——>变换域，如傅里叶变换、沃尔什变换、离散余弦变换、小波变换。
- 图像编码压缩：以减少描述图像的数据量（比特数）。
- 图像增强和复原：为了提高图像的质量。
- 图像增强：突出图像中感兴趣的部分。强化高频：轮廓清晰；强化低频：减少噪声。
- 图像复原：先分析降质原因，建立降质模型，再通过滤波重建图像。
- 图像分割：将图像中有意义的特征部分提取出来。
- 图像描述：用几何模型描述图像。
- 图像分类（识别）：图像经过某些预处理后，进行分割和特征提取，从而进行判决分类。
1.2 图像系统构成
（1）图像处理器：负责采集光照信息。CCD/CMOS。
（2）图像编码：对输出图像进行采样和量化。
（3）图像处理器：核心。讲取样和量化结果作为数据源，对图像进行一系列的变换。PC/ARM/FPGA。
（4）显示设备：对图像进行显示。
（5）存储设备：对图像进行保存。
1.3 色彩空间
- RGB:R红，G绿，B蓝。
- CMY(K):C青，M洋红，Y黄，（K黑）。
- HSI:H色调，S饱和，I亮度。
- YUV：Y明亮度，UV色度。
- YCbCr：Y亮度，Cb蓝色色度，Cr红色色度。
1.4 图像处理流水线
- 机械反馈控制：通过快门速度和光圈大小对过度曝光或者曝光不足的区域进行补偿。
- 自动对焦：主动方法：红外线/超声波测距；被动算法：根据接收到的图像进行对焦决策。通过调整传感器的自动增益控制（AGC）电路，对自动曝光进行控制。
- 预处理：传感器的输出需要通过伽马校正才能用于显示。最常用的是中值滤波。
- 滤波图像补偿：为了纠正失真，运用数学变换处理图像。
- 白平衡：将图像映射为“与光照无关”再输出。自动白平衡(AWB)。
- 拜尔插值：
- 非自适应算法：双线性插值、双三次插值。在平滑区域内效果好。
- 自适应算法：边缘指导重构。根据局部特征自动改变行为。
- 色彩转换：插值后的RGB图像被转换到目标颜色空间。
1.5 图像压缩与视频压缩
图片压缩：
- JPEG：压缩比例为10×~20×。
- JPEG2000:JPEG延续，更好的压缩比。
- GIF：Graphics Interchange Format（图像互换格式）。
- PNG：Portable Network Graphic Format（可移植网络图形格式）。 视频压缩：
- H.261：第一个使用的数字视频压缩国际标准。鼻祖。
- MPEG-1：VCD光盘的技术核心。
- H.262：在DVD、SVCD使用。
- H.263：提高编码效率。
- MPEG-4：又称ASP。第一个含有交互性的动态图像标准。
- H.264：和MPEG-4是相同的标准。也称为AVC或JVT，目前主流视频压缩标准。
- H.265：提高压缩率，减少失真和码流，比H.264增加一倍的数据压缩比且具有更高的视频质量。
- AVS：Audio Video coding Standard(音视频编码标准)，中国制定。
- WMV：Windows Media Video。微软公司开发的视频编解码器。
- Real Video：Real Networks公司开发的视频编解码器。常见于网络在线播放。
1.6 视频显示处理
- 去隔行处理：NTSC刷新速率设定为30帧每秒。早期限制于速度，无法逐行扫描。故取出时，需要去隔行处理，讲奇数行和偶数行交支排列存储，而不是位于两个分离的视场缓冲区。方法包括行倍增、行平均、中值滤波、运动补偿。
- 扫描速率转换：确保输入的帧速率与输出显示的刷新速率相匹配。
- 色度采样：
- 色度下采样：视频标准和压缩算法大幅度缩减视频带宽。
- 色度重采样：显示器接口所支持的颜色空间域与当前颜色空间域不匹配。
- 缩放与剪切：
- 图像裁切：将每行/列的前/后若干个像素丢弃。
- 增加或减少每行的像素数量：丢弃像素，抽样滤波（下采样）或者复制像素，插值（上采样）。
- 增加或减少每帧的行数：垂直滤波。
其他显示处理：
- Alpha混合：将图像和视频缓冲区组合起来。组合起来之后，需要决定重叠的地方哪路流胜出。
—————————————————————————————————————
